[논문 리뷰] HSGNet: Object Re-identification with Hierarchical Similarity Graph Network

Fei Shen, Mengwan Wei외 1명|arXiv (Cornell University)|2022. 11. 10.

Remote-Sensing Image Classification인용 수 10

한 줄 요약

HSGNet는 공간 및 채널 유사성 그래프를 통해 전반적-국소적 및 국소-국소적 관계를 모델링하는 플러그 앤 플레이형 계층적 유사성 그래프 모듈(HSGM)을 제안한다. 노드 중요도와 상관관계를 동적으로 학습함으로써 HSGNet은 다양한 데이터셋과 백본 네트워크에서 최소한의 계산 오버헤드로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Object re-identification method is made up of backbone network, feature aggregation, and loss function. However, most backbone networks lack a special mechanism to handle rich scale variations and mine discriminative feature representations. In this paper, we firstly design a hierarchical similarity graph module (HSGM) to reduce the conflict of backbone and re-identification networks. The designed HSGM builds a rich hierarchical graph to mine the mapping relationships between global-local and local-local. Secondly, we divide the feature map along with the spatial and channel directions in each hierarchical graph. The HSGM applies the spatial features and channel features extracted from different locations as nodes, respectively, and utilizes the similarity scores between nodes to construct spatial and channel similarity graphs. During the learning process of HSGM, we utilize a learnable parameter to re-optimize the importance of each position, as well as evaluate the correlation between different nodes. Thirdly, we develop a novel hierarchical similarity graph network (HSGNet) by embedding the HSGM in the backbone network. Furthermore, HSGM can be easily embedded into backbone networks of any depth to improve object re-identification ability. Finally, extensive experiments on three large-scale object datasets demonstrate that the proposed HSGNet is superior to state-of-the-art object re-identification approaches.

연구 동기 및 목표

• 스케일, 자세, 외관 유사성으로 인한 클래스 내 변동성을 해소하기 위해.
• 백본 네트워크와 재식별 작업 간의 갈등을 줄이기 위해 분류 가능한 특징 탐색을 향상시키는 메커니즘을 도입하기 위해.
• 수동 애너테이션 또는 아키텍처 재설계 없이 성능을 향상시키는 플러그 앤 플레이 모듈을 개발하기 위해.
• 계층적 그래프 구조에서 내부(국소-국소) 및 외부(전반-국소) 관계를 모델링함으로써 효과적인 특징 학습을 가능하게 하기 위해.

제안 방법

• HSGM은 서로 다른 위치의 공간 및 채널 특징을 노드로 간주하여 공간 및 채널 유사성 그래프를 구축한다.
• 노드 간의 유사성 점수를 계산하여 다중 수준에서의 노드 간 관계를 포착하는 계층적 그래프를 형성한다.
• 학습 중에 각 노드의 중요도를 재최적화하는 가속 가능한 파라미터를 도입하여 분류 가능한 영역에 동적으로 집중할 수 있도록 한다.
• HSGM은 어떤 깊이에서든 백본 네트워크에 통합되어 최소한의 파라미터 및 FLOP 증가로 종단 간 학습이 가능하다.
• 고정 크기 샘플링 전략보다 더 효과적으로 스케일 변동을 다루기 위해 다중 스케일 샘플링 전략($k_1=1, k_2=2, k_3=3$)을 사용한다.
• 계층적 그래프 구조는 국소 특징과 그들의 맥락적 관계를 함께 모델링할 수 있게 하여 표현 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 계층적 그래프 기반 모듈은 추가 애너테이션 없이도 객체 재식별의 특징 표현을 향상시킬 수 있는가?
• RQ2 전반-국소 및 국소-국소 관계를 동시에 모델링할 경우 재식별 성능에 어떤 영향을 미치는가?
• RQ3 HSGM은 ResNet, SeNet, Res2Net과 같은 다양한 백본 네트워크에 얼마나 일반화될 수 있는가?
• RQ4 다중 스케일 노드 샘플링 전략은 객체 재식별에서 스케일 변동에 대한 강건성을 향상시키는가?
• RQ5 기존 모델에 HSGM을 통합할 경우 성능 향상과 계산 비용 간의 상충 관계는 어떠한가?

주요 결과

• HSGM을 ResNet-50의 스테이지 4에 통합했을 때, Market-1501에서는 Rank-1 정확도가 1.2% 향상되었고, VeRi776에서는 3.3% 향상되었다.
• ResNet-50를 사용할 경우 HSGM은 VeRi776에서 3.0% mAP 향상, Market-1501에서는 1.0% mAP 향상 달성했다.
• HSGM은 테스트된 모든 백본 네트워크에서 성능 향상을 보였다: SeNet50는 1.59% mAP 향상, Res2Net50는 2.24% mAP 향상.
• 다중 스케일 샘플링 전략($k_1=1, k_2=2, k_3=3$)은 고정 크기 전략 대비 데이터셋 전체에서 0.67%에서 1.05%까지 mAP 성능 향상을 보였다.
• HSGM 통합으로 인한 파라미터 증가율은 4.3–4.8%이며, FLOPs 증가율은 1.13–1.37%로 최소한의 계산 오버헤드를 나타낸다.
• HSGM은 다양한 백본에서 일관되게 효과적이며, ResNet50, SeNet50, Res2Net50 모두에서 일관된 성능 향상을 보였다.