[논문 리뷰] Vehicle Re-identification with Viewpoint-aware Metric Learning

Ruihang Chu, Yifan Sun외 4명|arXiv (Cornell University)|2019. 10. 09.

Video Surveillance and Tracking Methods참고 문헌 33인용 수 15

한 줄 요약

이 논문은 차량 재식별을 위한 새로운 메트릭 학습 방법인 뷰포인트 인식 네트워크(VANet)를 제안한다. 이는 유사 뷰포인트(S-view) 쌍과 다른 뷰포인트(D-view) 쌍에 대해 전용 특징 공간을 사용하여 별도의 메트릭을 학습한다. 훈련 중에 공간 내 및 공간 간 제약 조건을 모두 강제함으로써 VANet는 특히 도전적인 D-view 양성 쌍에 대해 재식별 정확도를 크게 향상시키며, VehicleID 및 Veri-776 벤치마크에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

This paper considers vehicle re-identification (re-ID) problem. The extreme viewpoint variation (up to 180 degrees) poses great challenges for existing approaches. Inspired by the behavior in human's recognition process, we propose a novel viewpoint-aware metric learning approach. It learns two metrics for similar viewpoints and different viewpoints in two feature spaces, respectively, giving rise to viewpoint-aware network (VANet). During training, two types of constraints are applied jointly. During inference, viewpoint is firstly estimated and the corresponding metric is used. Experimental results confirm that VANet significantly improves re-ID accuracy, especially when the pair is observed from different viewpoints. Our method establishes the new state-of-the-art on two benchmarks.

연구 동기 및 목표

• 최대 180도에 이르는 극단적인 뷰포인트 변동으로 인해 매칭 정확도가 심각하게 떨어지는 차량 재식별 문제를 해결한다.
• 기존 메트릭 학습 방법이 특징 공간에서 D-view 양성 쌍과 S-view 음성 쌍을 분리하지 못하는 한계를 극복한다.
• 이중 브랜치 네트워크 아키텍처를 통해 유사 뷰포인트 및 다른 뷰포인트 쌍에 대해 서로 다른 매칭 전략을 적용함으로써 인간의 인식 행동을 모방한다.
• 질의 및 갤러리 이미지가 극명하게 다른 뷰포인트에서 촬영된 실생활 조건에서의 재식별 성능을 향상시킨다.
• 추가 속성 또는 외부 데이터에 의존하지 않고 ID 레이블과 보조 뷰포인트 정보만을 사용하여 최신 기술 성능을 달성한다.

제안 방법

• S-view 및 D-view 쌍을 위한 별도의 특징 공간을 갖는 이중 브랜치 딥 메트릭 학습 네트워크인 VANet를 설계하여 뷰포인트 인식 메트릭을 학습한다.
• 각 특징 공간 내에서(예: S-view 대 S-view, D-view 대 D-view) 양성 쌍이 음성 쌍보다 가까워지도록 공간 내 제약 조건을 강제한다.
• 특징 공간 간에(예: D-view 양성 쌍 대 S-view 음성 쌍, 그 반대) 양성 쌍이 음성 쌍보다 가까워지도록 공간 간 제약 조건을 도입한다.
• 추론 시에는 질의의 뷰포인트를 추정하고 해당되는 메트릭(S-view 또는 D-view)을 선택하여 적응형 재식별을 구현한다.
• 공간 내 및 공간 간 제약 조건을 동시에 최적화하기 위해 트리플릿 손실과 콘트라스트 손실의 조합을 사용하여 네트워크를 훈련한다.
• 특징 추출을 위해 배경 네트워크(예: ResNet-50 또는 GoogLeNet)를 사용하며, 추가 브랜치를 통해 뷰포인트별 메트릭을 학습하면서 계산 오버헤드를 최소화한다.

실험 결과

연구 질문

• RQ1 뷰포인트 인식 메트릭 학습은 극단적인 뷰포인트 변동 상황에서 차량 재식별 정확도를 향상시킬 수 있는가?
• RQ2 S-view 및 D-view 시나리오로 메트릭 학습을 분리하면 통합된 메트릭 학습보다 더 나은 특징 분리 성능을 낼 수 있는가?
• RQ3 공간 간 제약 조건은 D-view 양성 쌍과 S-view 음성 쌍 간의 혼동을 줄이는 데 얼마나 효과적인가?
• RQ4 유사 및 다른 뷰포인트 쌍에 대해 서로 다른 매칭 기준을 적용하는 인간 유사 전략은 검색 성능 향상에 기여하는가?
• RQ5 VANet는 추가 속성 또는 외부 데이터에 의존하지 않고도 표준 벤치마크에서 기존 최신 기술 방법을 능가하는가?

주요 결과

• Veri-776 벤치마크에서 VANet는 mAP 66.34%와 상위-1 정확도 89.78%를 기록하여 비교된 모든 최신 기술 방법을 능가한다.
• VehicleID에서 VANet는 ResNet-50를 사용하여 mAP 88.12%와 상위-1 정확도 97.29%를 달성하며, 동일한 백본을 사용하는 베이스라인 및 GSTE를 초월한다.
• D-view 양성 쌍에 대한 성능 향상이 뚜렷하게 나타나며, Veri-776에서 기준값 대비 mAP가 7.59%p 향상되었다.
• 공간 간 제약 조건은 거리 분포도에서 볼 수 있듯이 D-view 양성 쌍과 S-view 음성 쌍 간의 겹침을 줄이는 데 특히 효과적이다.
• 추가 속성 또는 외부 데이터를 사용하지 않고도 ID 레이블과 뷰포인트 애너테이션만으로 최신 기술 성능을 달성하며, 이는 추가 속성 또는 외부 데이터를 활용한 방법보다 뛰어난 성능을 기록한다.
• 브랜치를 추가함에도 불구하고 VANet는 계산 효율성을 유지하며, 총 파라미터 수가 10.9M(최신 기술 방법 중 두 번째로 적은 수)에 불과하고, 더 작은 모델인 GSTE보다도 뛰어난 정확도를 확보한다.