[논문 리뷰] Orientation-aware Vehicle Re-identification with Semantics-guided Part Attention Network

Tsai-Shien Chen, Chih‐Ting Liu외 2명|arXiv (Cornell University)|2020. 08. 26.

Advanced Neural Network Applications참고 문헌 4인용 수 8

한 줄 요약

이 논문은 키포인트나 픽셀 수준의 애너테이션 없이도 이미지 수준의 시점 레이블만을 사용하여 강건하고 시점에 특화된 주의 맵을 생성하는 의미론적 지도형 파트 주의 네트워크(Semantics-guided Part Attention Network, SPAN)를 제안한다. SPAN을 공통 파트-주의 거리 측도(Co-occurrence Part-attentive Distance Metric, CPDM)와 결합함으로써 기존 방법에 비해 VeRi-776에서 mAP가 7.2% 향상되고 CityFlow-ReID에서 mAP가 16.7% 향상되는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Vehicle re-identification (re-ID) focuses on matching images of the same vehicle across different cameras. It is fundamentally challenging because differences between vehicles are sometimes subtle. While several studies incorporate spatial-attention mechanisms to help vehicle re-ID, they often require expensive keypoint labels or suffer from noisy attention mask if not trained with expensive labels. In this work, we propose a dedicated Semantics-guided Part Attention Network (SPAN) to robustly predict part attention masks for different views of vehicles given only image-level semantic labels during training. With the help of part attention masks, we can extract discriminative features in each part separately. Then we introduce Co-occurrence Part-attentive Distance Metric (CPDM) which places greater emphasis on co-occurrence vehicle parts when evaluating the feature distance of two images. Extensive experiments validate the effectiveness of the proposed method and show that our framework outperforms the state-of-the-art approaches.

연구 동기 및 목표

• 다양한 시점에서 미세한 시각적 차이를 보이는 차량을 구분하는 데 도전하는 것.
• 차량 재식별에서 파트 인식 특징을 학습하기 위해 고비용의 키포인트나 픽셀 수준의 애너테이션에 의존도를 줄이는 것.
• 매칭되는 이미지에서 함께 나타나는 차량 파트에 초점을 맞춰 특징의 분류 능력을 향상시키는 것.
• 다양한 차량 유형, 색상, 방향에 걸쳐 일반화 가능한 강건한 주의 메커니즘을 설계하는 것.
• 비교되는 차량 이미지 간에 가시성과 공존성을 기반으로 동적으로 부분 특징 거리에 가중치를 부여하는 거리 측도를 개발하는 것.

제안 방법

• 이미지 수준의 시점 레이블만을 사용하여 앞면, 측면, 뒷면 시점의 주의 맵을 예측하는 의미론적 지도형 파트 주의 네트워크(Semantics-guided Part Attention Network, SPAN)를 도입한다.
• 공간 일관성과 해석 가능성 확보를 위해 주의 맵 생성을 위한 마스크 복원 손실과 두 가지 보조 손실을 활용한다.
• 전역 특징과 파트 인식 특징의 연결을 통해 표현 학습을 향상시킨다.
• 두 이미지에서의 가시성과 공존성을 기반으로 부분 특징 거리에 가중치를 적응적으로 조정하는 공통 파트-주의 거리 측도(Co-occurrence Part-attentive Distance Metric, CPDM)를 제안한다.
• 특징 임bedding 최적화를 위해 크로스 엔트로피 손실과 트리플릿 손실을 종합적으로 사용하여 네트워크를 엔드 투 엔드로 훈련시킨다.
• 효율적인 훈련을 위해 카메라 자세와 교통 방향 정보를 활용하여 약한 지도 학습 기반의 이미지 수준의 시점 레이블을 확보한다.

실험 결과

연구 질문

• RQ1 키포인트나 픽셀 수준의 애너테이션 없이도 이미지 수준의 시점 레이블만으로 파트 주의 맵을 효과적으로 학습할 수 있는가?
• RQ2 의미론적 지도형 주의는 다양한 시점에서의 차량 재식별에서 특징의 분류 능력을 어떻게 향상시키는가?
• RQ3 공존하는 파트에 초점을 맞춘 거리 측도는 차량 재식별에서 매칭 정확도를 향상시킬 수 있는가?
• RQ4 다양한 차량 유형, 색상, 방향에 걸쳐 생성된 주의 맵은 얼마나 강건한가?
• RQ5 SPAN과 CPDM의 조합은 표준 벤치마크에서 기존 최신 기술 수준의 방법들을 초월하는가?

주요 결과

• 제안된 SPAN과 CPDM는 VeRi-776 데이터셋에서 R-1 94.0%, mAP 68.9%를 달성하여 기존 최신 기술 수준의 방법들을 능가한다.
• CityFlow-ReID에서 이 방법은 R-1 59.5%, R-5 61.9%, mAP 42.0%를 기록하여 이전 접근 방식에 비해 뚜렷한 성능 향상을 보였다.
• 제거 분석 결과 SPAN의 주의 맵이 더 분류 능력 있는 특징을 추출함을 확인하였으며, 기준 모델 대비 mAP가 3.8% 향상되었다.
• CPDM 거리 측도는 표준 유클리드 거리 대비 mAP 성능을 5.8% 향상시켜 특징 거리 계산에서의 효과성을 입증하였다.
• 정성적 결과는 SPAN이 도전적인 시점 각도에서도 안정적이고 의미 있는 주의 맵을 생성함을 보여주었다.
• VeRi-776에서 GRF-GGL [21]에 비해 mAP가 7.2% 향상되었고, CityFlow-ReID에서 DFFMG [9]에 비해 mAP가 16.7% 향상되었다.