[논문 리뷰] Pyramidal Person Re-IDentification via Multi-Loss Dynamic Training

Feng Zheng, Cheng Deng외 6명|arXiv (Cornell University)|2018. 10. 29.

Video Surveillance and Tracking Methods참고 문헌 28인용 수 32

한 줄 요약

이 논문은 정밀한 바운딩 박스에 의존하는 것을 줄이기 위해 다중 척도 국소 및 전반적 특징을 통합함으로써 인물 재식별을 위한 코arse-to-fine 피라미드 딥 러닝 모델을 제안한다. 삼중체 손실과 정체성 분류 손실을 통합하는 동적 다중손실 훈련 방식을 도입하여 최신 기술 수준의 성능을 달성하였으며, 특히 새로운 평가 프로토콜 하에서 도전적인 CUHK03 데이터셋에서 이전 최고 성능 방법보다 9.5% 향상된 성능을 기록하였다.

ABSTRACT

Most existing Re-IDentification (Re-ID) methods are highly dependent on precise bounding boxes that enable images to be aligned with each other. However, due to the challenging practical scenarios, current detection models often produce inaccurate bounding boxes, which inevitably degenerate the performance of existing Re-ID algorithms. In this paper, we propose a novel coarse-to-fine pyramid model to relax the need of bounding boxes, which not only incorporates local and global information, but also integrates the gradual cues between them. The pyramid model is able to match at different scales and then search for the correct image of the same identity, even when the image pairs are not aligned. In addition, in order to learn discriminative identity representation, we explore a dynamic training scheme to seamlessly unify two losses and extract appropriate shared information between them. Experimental results clearly demonstrate that the proposed method achieves the state-of-the-art results on three datasets. Especially, our approach exceeds the current best method by 9.5% on the most challenging CUHK03 dataset.

연구 동기 및 목표

• 정확한 보행자 검출 바운딩 박스에 대한 의존도를 줄이기 위해 다중 척도 특징 표현을 활용함으로써 인물 재식별 성능을 향상시키는 것.
• 부분 기반 모델이 전반적 맥락을 忽시하고 정확하지 않은 검출로 인한 정렬 오류를 겪는 한계를 해결하는 것.
• 삼중체 손실과 정체성 분류 손실을 원활하게 통합하는 동적 훈련 전략을 개발하여 특징의 분류 능력을 향상시키는 것.
• 재랭킹 또는 다중 쿼리 추론 없이도 벤치마크 Re-ID 데이터셋에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 백본 네트워크의 특징 맵에서 3D 특징 서브맵의 코어스-투-파인 피라미드를 구성하여 다중 공간 척도에서 분류 가능한 단서를 캡처하는 것.
• 각 피라미드 브랜치에서 차원을 감소시키기 위해 별도의 1x1 컨볼루션 레이어를 적용하여 효율적인 특징 학습을 수행하는 것.
• 각 브랜치의 전역 풀링된 특징에 대해 독립적인 소프트맥스 분류 손실을 적용하여 정체성 인식 특징 표현을 학습하는 것.
• 모든 브랜치의 특징을 연결하여 통합된 정체성 임bedding을 형성하고, 삼중체 손실을 통해 분류 능력을 향상시키기 위해 최적화하는 것.
• 랜덤 샘플링과 ID-균형 하드 샘플링을 번갈아 적용하는 동적 훈련 전략을 구현하여 훈련 중 두 손실 간의 균형을 적응적으로 조정하는 것.
• 훈련 중 반복 횟수에 따라 난이도 변화를 반영하여 손실 가중치를 동적으로 조정함으로써 수동 하이퍼파rameter 조정을 피하는 것.

실험 결과

연구 질문

• RQ1 바운딩 박스가 정확하지 않거나 정렬이 어긋날 경우, 다중 척도 피라미드 아키텍처가 인물 재식별 성능 향상에 기여할 수 있는가?
• RQ2 삼중체 손실과 분류 손실을 동적으로 효과적으로 통합하여 수동 하이퍼파rameter 조정 없이 특징 학습을 향상시킬 수 있는가?
• RQ3 계층적 구조에서 국소 및 전반적 특징을 통합하면, 가림 및 시점 변화에 대한 더 높은 강건성을 확보할 수 있는가?
• RQ4 제안된 방법은 특히 새로운 평가 프로토콜 하에서 가장 도전적인 CUHK03 데이터셋에서 최신 기술 수준의 방법을 초월할 수 있는가?

주요 결과

• Market-1501에서 제안된 방법은 88.2% mAP와 95.7% 랭크-1 정확도를 달성하여 이전 최고 성능 방법인 PCB+RPP(81.6% mAP, 93.8% 랭크-1)를 초월하였다.
• CUHK03 데이터셋에서 새로운 프로토콜 하에서 현재 최고 성능 방법보다 9.5% 향상되어 뚜렷한 성능 향상을 기록하였다.
• 모든 피라미드 수준을 통합한 전체 피라미드 모델(Pyramid-111100)은 Market-1501에서 87.5% mAP와 94.8% 랭크-1를 기록하여 모든 피라미드 수준을 조합함으로써 효과를 입증하였다.
• 제거 실험 결과, 동적 훈련을 적용한 전역 브랜치만으로도 PCA+RPP를 능가하는 성능을 기록하여 동적 훈련 전략의 가치를 확인하였다.
• 특징 차원 수 128이 최적의 성능을 내며, 64 및 256 차원은 성능 저하를 초래함을 시사하여 부족한 정보나 과잉 정보가 성능에 악영향을 미친다는 것을 입증하였다.
• 삼중체 손실을 제거하고 정체성 손실만 사용할 경우에도 86.5% mAP를 기록하여 PCB+RPP를 능가함을 확인하였으며, 이는 손실 융합 없이도 피라미드 아키텍처의 효과가 입증됨을 의미한다.