[논문 리뷰] AlignedReID: Surpassing Human-Level Performance in Person Re-Identification

Xuan Zhang, Hao Luo외 7명|arXiv (Cornell University)|2017. 11. 22.

Video Surveillance and Tracking Methods참고 문헌 39인용 수 437

한 줄 요약

본 논문은 자동 최단경로를 통한 로컬 파트 정렬로 글로벌-로컬 특징 프레임워크인 AlignedReID를 제시하고, 상호 학습을 더해 최고 성능을 달성하며 Market1501 및 CUHK03에서 인간 성능을 넘어선다.

ABSTRACT

In this paper, we propose a novel method called AlignedReID that extracts a global feature which is jointly learned with local features. Global feature learning benefits greatly from local feature learning, which performs an alignment/matching by calculating the shortest path between two sets of local features, without requiring extra supervision. After the joint learning, we only keep the global feature to compute the similarities between images. Our method achieves rank-1 accuracy of 94.4% on Market1501 and 97.8% on CUHK03, outperforming state-of-the-art methods by a large margin. We also evaluate human-level performance and demonstrate that our method is the first to surpass human-level performance on Market1501 and CUHK03, two widely used Person ReID datasets.

연구 동기 및 목표

• 포즈, 가림, 및 오정렬에Robust한 사람 재식별을 위해 글로벌 및 로컬 단서를 모두 활용한다.
• 추가 감독이나 포즈 추정 없이 로컬 파트를 정렬하는 엔드투엔드 학습 프레임워크를 개발한다.
• 모델 간의 상호 학습을 통해 표현 품질을 향상시키고 메트릭 학습을 개선한다.
• 표준 ReID 데이터셋에서 평가하고 인간 성능과의 비교를 통해 벤치마크를 확립한다.

제안 방법

• CNN을 이용해 피처 맵을 추출한다.
• 글로벌 풀링을 통해 글로벌 피처를 계산한다.
• 수평 풀링과 1x1 컨볼루션으로 채널 수를 줄여 H 개의 로컬 피처를 계산한다.
• 로컬 피처 간의 거리 행렬 위의 최단 경로 거리를 로컬 거리로 정의한다(동적 프로그래밍).
• 글로벌 및 로컬 거리를 결합해 결합 메트릭 학습 손실(TriHard)을 얻는다.
• 두 개의 모델을 메트릭 및 분류 상호 손실로 공동 학습시키고, 그래디언트 공유를 제로로 설정해 학습을 안정화한다.

실험 결과

연구 질문

• RQ1 암시적 로컬 피처 정렬이 명시적 포즈 감독 없이도 재식별을 위한 글로벌 피처 학습을 향상시킬 수 있는가?
• RQ2 상호 학습이 단일 AlignedReID 모델을 넘어 표현 품질과 랭킹 성능을 추가로 향상시키는가?
• RQ3 learned 로컬 정렬에 의해 도움받은 글로벌 피처만으로도 합쳐진 글로벌+로컬 표현과 경쟁할 수 있는가?
• RQ4 표준 ReID 벤치마크에서 AlignedReID가 인간 성능에 비해 어떤 성능을 나타내는가?
• RQ5 재랭킹이 AlignedReID 피처를 사용할 때 최종 성능에 어떤 영향을 미치는가?

주요 결과

• AlignedReID는 기준선 대비 상당한 향상을 보이며 Market1501, CUHK-SYSU, CUHK03에서 랭크-1 및 mAP가 뚜렷하게 증가한다.
• 로컬 피처 정렬로 학습된 글로벌 피처만으로도 추론 시 글로벌+로컬 피처를 모두 사용할 때의 성능에 거의 근접하거나 이를 초과한다.
• 상호 학습은 특히 서로 다른 백본(예: ResNet50 대 ResNet50-Xception)을 가진 아키텍처를 사용할 때 성능을 더욱 향상시킨다.
• 재랭킹을 사용하면 Market1501에서 94.4% 랭크-1 및 90.7% mAP, CUHK03에서 97.8% 랭크-1을 달성하며 이전 방법을 능가한다.
• 인간 평가에 따르면 최상의 주석가의 랭크-1 정확도는 Market1501에서 93.5%, CUHK03에서 95.7%인 반면, 재랭킹을 적용한 AlignedReID는 Market1501에서 94.4%, CUHK03에서 97.8%로 더 높다.
• 방법은 데이터셋 간 강력한 일반화 능력을 보이며, 오정렬과 가림에 대한 강건성을 보여주는 정성적 정렬 예시를 보고한다.