[논문 리뷰] Interaction-and-Aggregation Network for Person Re-identification

Ruibing Hou, Bingpeng Ma외 4명|arXiv (Cornell University)|2019. 07. 19.

Video Surveillance and Tracking Methods참고 문헌 51인용 수 39

한 줄 요약

이 논문은 Spatial IA (SIA)와 Channel IA (CIA)로 구성된 Interaction-and-Aggregation(IA) 블록을 도입하여 공간 의존성 및 채널 의존성을 적응적으로 모델링하고, CNN을 사람 재식별(person re-identification)에 적용하여 다수의 벤치마크에서 최첨단 결과를 달성합니다.

ABSTRACT

Person re-identification (reID) benefits greatly from deep convolutional neural networks (CNNs) which learn robust feature embeddings. However, CNNs are inherently limited in modeling the large variations in person pose and scale due to their fixed geometric structures. In this paper, we propose a novel network structure, Interaction-and-Aggregation (IA), to enhance the feature representation capability of CNNs. Firstly, Spatial IA (SIA) module is introduced. It models the interdependencies between spatial features and then aggregates the correlated features corresponding to the same body parts. Unlike CNNs which extract features from fixed rectangle regions, SIA can adaptively determine the receptive fields according to the input person pose and scale. Secondly, we introduce Channel IA (CIA) module which selectively aggregates channel features to enhance the feature representation, especially for smallscale visual cues. Further, IA network can be constructed by inserting IA blocks into CNNs at any depth. We validate the effectiveness of our model for person reID by demonstrating its superiority over state-of-the-art methods on three benchmark datasets.

연구 동기 및 목표

• Fixed CNN 수용 필드를 도전하는 포즈 및 스케일 변Variation을 해결한다.
• SIA를 제안하여 공간 의미 관계를 학습해 신체 부위를 적응적으로 로컬라이즈한다.
• CIA를 제안하여 작은 규모의 단서를 위한 채널별 특징을 집계한다.
• IA 블록을 CNN 백본에 통합하여 IA 네트워크(IANet)을 형성한다.
• 표준 reID 데이터셋에서 최첨단 방법 대비 우수한 성능을 입증한다.

제안 방법

• 공 appearance relations 및 location relations를 계산하고 의미적으로 관련된 공간 특징을 집계하기 위해 Spatial IA (SIA)를 정의한다.
• 채널 간 의미 관계를 계산하고 의미적으로 유사한 채널 특징을 집계하기 위해 Channel IA (CIA)를 정의한다.
• SIA와 CIA를 네트워크 병목에 삽입할 수 있는 잔차(formulation)로 결합한 IA 블록을 도입한다.
• IA 블록을 ResNet-50에 삽입하여 IANet을 구축하고 신원 분류를 위한 교차 엔트로피 손실로 엔드 투 엔드 학습한다.
• CUHK03, Market-1501, DukeMTMC-reID, MSMT17을 mean Average Precision (mAP) 및 CMC top-k 지표를 사용해 평가한다.

실험 결과

연구 질문

• RQ1 SIA를 통한 적응적 공간 수용 필드가 외부 부위 탐지기 없이도 포즈/스케일 변화 하에서 신체 부위 로컬라이제이션을 개선하는가?
• RQ2 CIA를 통해 채널 간 의존성을 모델링하면 재식별에서 작은 규모 단서(예: 가방, 신발)의 구분력을 향상시키는가?
• RQ3 네트워크 병목에 배치된 IA 블록이 다수의 백본에서 내부 블록 배치보다 더 큰 이득을 주는가?

주요 결과

Model	Market-1501 top-1	Market-1501 mAP	DukeMTMC top-1	DukeMTMC mAP
IANet	94.4	83.1	87.1	73.4

• IANet은 Market-1501에서 최첨단을 능가(상위 1위: 94.4, mAP: 83.1)하고 DukeMTMC에서 상위 1위(상위-1: 87.1, mAP: 73.4)를 달성한다.
• MSMT17에서 IANet은 상위-1 75.5, 상위-5 85.5, 상위-10 88.7, mAP 46.8로 이전 방법을 능가한다.
• 다양한 맥락의 SIA를 통한 멀티-컨텍스트 비교가 단일 맥락보다 성능을 향상시키며 SIA와 CIA의 결합이 최상의 결과를 낳는다.
• IA 블록을 stage-2 및 stage-3 병목에 배치하는 것이 파라미터 오버헤드는 큰 폭으로 늘리지 않으면서도 강한 이득을 제공한다.
• IA 블록은 불완전한 사람 탐지에 대해 견고성을 제공하고 주의(attention) 기반 및 다중 스케일 베이스라인보다 우수하다.