[논문 리뷰] End-to-End Deep Kronecker-Product Matching for Person Re-identification

Yantao Shen, Tong Xiao외 3명|arXiv (Cornell University)|2018. 07. 30.

Video Surveillance and Tracking Methods참고 문헌 28인용 수 6

한 줄 요약

이 논문은 특징 맵 간의 확률적 공간 대응을 학습하기 위해 크로네커 곱 매칭(Kronecker Product Matching, KPM) 모듈을 사용하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 이어 소프트 워핑 기법을 통해 특징 정렬을 수행한다. 이 방법은 다중 스케일 아워거글래스 네트워크와 잔차 자기주의(self-attention)를 통합하여 Market-1501, CUHK03, DukeMTMC에서 최신 기준 성능을 달성한다. 기준 모델 대비 mAP 향상률은 각각 6.5%, 6.3%, 7.7%이다.

ABSTRACT

Person re-identification aims to robustly measure similarities between person images. The significant variation of person poses and viewing angles challenges for accurate person re-identification. The spatial layout and correspondences between query person images are vital information for tackling this problem but are ignored by most state-of-the-art methods. In this paper, we propose a novel Kronecker Product Matching module to match feature maps of different persons in an end-to-end trainable deep neural network. A novel feature soft warping scheme is designed for aligning the feature maps based on matching results, which is shown to be crucial for achieving superior accuracy. The multi-scale features based on hourglass-like networks and self-residual attention are also exploited to further boost the re-identification performance. The proposed approach outperforms state-of-the-art methods on the Market-1501, CUHK03, and DukeMTMC datasets, which demonstrates the effectiveness and generalization ability of our proposed approach.

연구 동기 및 목표

• 큰 자세 및 시점 변화가 있는 상황에서도 인물 재식별 성능을 향상시키기 위해 공간 대응과 특징 정렬을 활용하는 것.
• CNN 기반 재식별에서 전역 풀링과 직접적인 벡터화 방식의 한계를 해결하기 위해, 공간 레이아웃 정보를 손실하고 이미지 간 특징 정렬이 어긋나는 문제를 해결하는 것.
• 기울기 전파 가능한 워핑 메커니즘을 통해 구분 능력 있는 공간 인식 특징 매칭을 학습함으로써 유사도 추정 성능을 향상시키는 것.
• 아워거글래스 유사 아키텍처를 통해 다중 스케일 표현을 통합하고 주의 기반 특징 가중치를 적용함으로써 정확도를 향상시키는 것.
• 표준 재식별 벤치마크에서 구성 요소 모듈의 효과를 도출하기 위해 분석 실험을 수행하는 것.

제안 방법

• 크로네커 곱 매칭(KPM) 모듈은 평탄화된 특징 벡터 간의 크로네커 곱을 사용하여 두 인물 특징 맵 간의 매칭 신뢰도 맵을 계산함으로써, 확률적 공간 대응 학습이 가능하다.
• 연속적인 소프트 워핑 기법은 KPM의 신뢰도 맵을 기반으로 한 특징 맵을 변형하여, 특징 유사도 계산 이전에 기울기 전파 가능한 엔드 투 엔드 특징 정렬을 수행한다.
• 잔차 자기주의(RSA) 모듈은 공간 영역에 대해 학습 가능한 가중치를 할당하여, 구분 능력 있는 신체 부위를 강조하고 배경 노이즈를 억제한다.
• 아워거글래스 유사 네트워크 아키텍처는 다중 해상도 특징 맵을 생성하여, 다양한 해상도에서 매칭 및 워핑을 수행함으로써 정확도 향상을 도모한다.
• 전체 프레임워크는 트리플릿 손실과 온도 조정된 교차 엔트로피를 사용하여 엔드 투 엔드로 훈련되며, 메트릭 학습과 주의도 캘리브레이션을 동시에 최적화한다.
• 최종 유사도 점수는 변형된 특징을 집계하고, 소프트맥스를 적용한 완전 연결 계층을 통해 계산된다.

실험 결과

연구 질문

• RQ1 소프트 워핑을 통한 크로네커 곱 매칭이 공간 대응을 엔드 투 엔드로 모델링함으로써 인물 재식별 정확도를 향상시킬 수 있는가?
• RQ2 직접적인 매칭 신뢰도 입력 대비 소프트 특징 워핑이 유사도 추정 성능에서 어떤 차이를 보이는가?
• RQ3 잔차 자기주의가 구분 능력 있는 영역에 집중함으로써 특징 표현을 얼마나 향상시키는가?
• RQ4 아워거글래스 아키텍처를 통한 다중 스케일 특징 학습이 재식별 정확도에 어떤 영향을 미치는가?
• RQ5 KPM과 RSA에서 온도 하이퍼파rameter가 매칭 맵과 주의도 맵의 집중도 및 전체 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 CUHK03 데이터셋에서 최신 기준 mAP 89.2%와 상위 1위 정확도 91.1%를 달성하였으며, 기준 모델 대비 mAP에서 6.3% 향상되고 상위 1위 정확도에서 8.2% 향상되었다.
• 분석 실험 결과, KPM 이후 소프트 워핑을 제거하면 Market-1501에서 mAP가 4.7% 감소하고, CUHK03에서는 11.2%, DukeMTMC에서는 4.3% 감소하여, 이는 소프트 워핑의 핵심적 역할을 입증한다.
• 잔차 자기주의를 통합함으로써 Market-1501, CUHK03, DukeMTMC에서 각각 mAP가 1.4%, 0.7%, 2.1% 향상되었으며, 상위 1위 정확도는 각각 1.3%, 1.0%, 0.7% 향상되었다.
• 아워거글래스 아키텍처는 기준 모델 대비 Market-1501에서 mAP 1.1%, 상위 1위 1.3% 향상되었고, CUHK03에서는 mAP 1.2%, 상위 1위 1.8% 향상되었으며, DukeMTMC에서는 mAP 4.9%, 상위 1위 3.7% 향상되었다.
• 스케일 간 평균 유사도 점수를 취하는 것(Baseline+HG ML)은 특징을 연결하는 것(Baseline+HG)에 비해 Market-1501에서 mAP 0.7% 낮고 상위 1위 정확도 0.9% 낮게 나타나, 다중 스케일 병합에 있어 연결이 더 효과적임을 시사한다.
• 최적의 온도 하이퍼파rameter는 τ_KPM = 0.05 및 τ_RSA = 1.0이며, 이는 매칭 맵을 높은 신뢰도 영역에 집중시키면서도 주의도 맵을 전경 영역에 걸쳐 퍼트리는 데 기여하며, 표 6를 통해 검증되었다.