[논문 리뷰] Collaborative Attention Network for Person Re-identification

Wenpeng Li, Yongli Sun외 4명|arXiv (Cornell University)|2019. 11. 29.

Video Surveillance and Tracking Methods참고 문헌 22인용 수 4

한 줄 요약

이 논문은 다중 척도 전역 특징에서 인접한 국소 특징 조각을 종합하여 종단 간 주의 메커니즘을 통해 특징 표현을 향상시키는 협업 주의 네트워크(CAN)를 제안한다. 인접한 국소 영역 간의 공간적 및 척도 관련 관계를 유지함으로써 CAN은 기존 방법보다 mAP 2.4%와 rank-1 0.7% 향상된 최신 기술 수준(SoA)의 성능을 달성한다. Market-1501에서 성과를 내었다.

ABSTRACT

Jointly utilizing global and local features to improve model accuracy is becoming a popular approach for the person re-identification (ReID) problem, because previous works using global features alone have very limited capacity at extracting discriminative local patterns in the obtained feature representation. Existing works that attempt to collect local patterns either explicitly slice the global feature into several local pieces in a handcrafted way, or apply the attention mechanism to implicitly infer the importance of different local regions. In this paper, we show that by explicitly learning the importance of small local parts and part combinations, we can further improve the final feature representation for Re-ID. Specifically, we first separate the global feature into multiple local slices at different scale with a proposed multi-branch structure. Then we introduce the Collaborative Attention Network (CAN) to automatically learn the combination of features from adjacent slices. In this way, the combination keeps the intrinsic relation between adjacent features across local regions and scales, without losing information by partitioning the global features. Experiment results on several widely-used public datasets including Market-1501, DukeMTMC-ReID and CUHK03 prove that the proposed method outperforms many existing state-of-the-art methods.

연구 동기 및 목표

• 사람 재식별에서 분류 가능한 국소 패턴을 포착하는 데에 전역 특징만으로는 한계가 있음을 해결한다.
• 수작업으로 정의된 국소 특징 조각 방법에서 발생하는 정보 손실 및 임의의 부위 정의 문제를 해결한다.
• 다양한 척도에서 인접한 국소 영역 간의 관계를 모델링하여 부위 기반 특징 학습을 향상시킨다.
• 전역 특징을 분할하지 않고도 동적으로 협업하는 국소 특징을 주시하는 종단 간 학습 가능한 메커니즘을 개발한다.
• 다중 브랜치 아키텍처와 공동 최적화를 통해 전역 및 국소로 강화된 표현을 조합함으로써 벤치마크 데이터셋에서 뛰어난 성능을 달성한다.

제안 방법

• 다중 브랜치 네트워크 구조를 사용하여 전역 특징 맵을 다중 척도의 국소 조각으로 분할한다.
• 인접한 국소 조각의 특징을 융합하여 공간적 및 척도 관련 관계를 유지하는 협업 주의 네트워크(CAN)를 도입한다.
• 학습 가능한 주의 가중치를 사용하여 국소 부위 간의 정보가 많은 인접 영역을 동적으로 강조한다.
• 삼중 체인 손실과 중심 손실에 전역 및 국소 브랜치를 통합하여 공동 최적화를 수행함으로써 분류 능력을 향상시킨다.
• 추론 시 유사도 측정을 위해 특징 및 가중치 정규화와 코사인 거리를 적용한다.
• Adam 옵티마이저를 사용하고 학습률 스케줄을 코사인 감쇠로 설정하며, 다중 손실 함수(CrossEntropy, Triplet, Center Loss)를 사용해 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 고정된 부위 또는 전역 특징만을 사용하는 방법보다, 인접한 국소 특징 조각을 융합함으로써 사람 재식별에서 더 나은 분류 표현을 달성할 수 있는가?
• RQ2 다양한 척도와 공간 이웃 영역 간의 상호 관계를 모델링하면, 독립적인 국소 특징 추출보다 성능 향상이 이루어지는가?
• RQ3 과도한 과적합이나 정보 손실 없이 성능을 최대화하는 데 가장 적합한 국소 조각 수는 얼마인가?
• RQ4 종단 간 협업 주의 메커니즘이 하드 주의 또는 고정된 부위 융합 전략보다 부위 기반 Re-ID에서 더 나은 성능을 내는가?
• RQ5 삼중 체인 손실과 중심 손실을 통한 전역 및 국소 브랜치의 공동 최적화가 표준 벤치마크에서 특징의 분류 능력을 향상시키는가?

주요 결과

• 제안된 CAN은 Market-1501에서 90.6% mAP와 96.4% rank-1 성능을 기록하여 이전 최신 기술 수준(Pyramid: 88.2% mAP, 95.7% rank-1)을 각각 2.4%포인트와 0.7%포인트 초월한다.
• DukeMTMC-ReID에서 CAN은 82.3% mAP와 91.6% rank-1 성능을 기록하여 이전 최고 성능 방법(Pyramid)을 상당한 격차로 앞서간다.
• CUHK03에서 CAN은 82.8% mAP와 86.1% rank-1 성능을 기록하여 이전에 발표된 모든 방법들(라벨링된 이미지 및 검출된 이미지 모두 테스트한 방법 포함)을 초월한다.
• 실험 결과, 최적점 이상으로 국소 조각 수를 늘일 경우 정확도가 감소함을 확인하여 해상도와 성능 사이의 상충 관계를 확인할 수 있었다.
• 절단 실험을 통해 인접한 조각 간의 협업 주의가 독립적 또는 고정된 부위 융합보다 특징 표현을 더 효과적으로 향상시킴을 확인하였다.
• 삼중 체인 손실과 중심 손실을 통한 전역 및 국소 브랜치의 공동 최적화가 모델 일반화 능력과 분류 능력을 크게 향상시킴을 확인하였다.