[논문 리뷰] Looking GLAMORous: Vehicle Re-Id in Heterogeneous Cameras Networks with Global and Local Attention

Abhijit Suprem, Calton Pu|arXiv (Cornell University)|2020. 02. 06.

Advanced Neural Network Applications참고 문헌 32인용 수 24

한 줄 요약

GLAMOR는 통합된 글로벌 및 로컬 어텐션 모듈을 사용하여 이질적인 카메라 네트워크에서 차량 재식별을 위한 컴act한 단일 모델 프레임워크를 제안한다. 이는 상위 클래스 간 구별력을 위한 글로벌 특징과 내부 클래스 강인성을 위한 자기 지도형 로컬 특징을 동시에 추출한다. VeRi-776에서 80.34의 mAP, VRIC에서 76.48, VeRi-Wild에서 77.15의 mAP를 기록하며 기존 방법보다 mAP에서 25% 향상되었고, 모델 크기는 10배 작아졌다.

ABSTRACT

Vehicle re-identification (re-id) is a fundamental problem for modern surveillance camera networks. Existing approaches for vehicle re-id utilize global features and local features for re-id by combining multiple subnetworks and losses. In this paper, we propose GLAMOR, or Global and Local Attention MOdules for Re-id. GLAMOR performs global and local feature extraction simultaneously in a unified model to achieve state-of-the-art performance in vehicle re-id across a variety of adversarial conditions and datasets (mAPs 80.34, 76.48, 77.15 on VeRi-776, VRIC, and VeRi-Wild, respectively). GLAMOR introduces several contributions: a better backbone construction method that outperforms recent approaches, group and layer normalization to address conflicting loss targets for re-id, a novel global attention module for global feature extraction, and a novel local attention module for self-guided part-based local feature extraction that does not require supervision. Additionally, GLAMOR is a compact and fast model that is 10x smaller while delivering 25% better performance.

연구 동기 및 목표

• 다양한 카메라 시점, 해상도, 그리고 가림, 흐림과 같은 환경 조건으로 인한 차량 재식별의 내부 클래스 변동성 해결.
• 바운딩 박스나 키포인트 애너테이션 없이도 자기 지도형 어텐션 기반 파트 정렬을 가능하게 하여 감독 학습 기반 로컬 특징 추출의 한계를 극복.
• 어 attention 메커니즘을 사용하여 글로벌 및 로컬 특징을 동시에 학습하는 통합형 컴act 모델 개발으로 모델 크기와 추론 비용 감소.
• 배치 정규화를 레이어 정규화로 교체하고 손실 조합 전략을 최적화하여 특징 표현의 안정성과 성능 향상.
• 악성 현실 조건에서 여러 벤치마크 데이터셋에서 최신 기술 수준의 재식별 정확도 확보.

제안 방법

• 초기 합성곱 층의 흐물어짐을 줄이는 새로운 글로벌 어텐션 모듈을 도입하여 형태 및 색상 불변성을 위한 글로벌 특징 학습 향상.
• 감독 없이도 글로벌 특징에서 파트 기반 특징(예: 헤드라이트, 번퍼)을 자동으로 식별하고 추출하는 로컬 어텐션 모듈을 제안.
• 배치 크기의 변화에 관계없이 훈련 안정성과 일반화 성능 향상을 위해 레이어 정규화를 적용한 ResNet-18 백본 사용.
• 트리플릿 손실과 레이블 스무딩 소프트맥스 손실을 조합하며, 다양한 손실 목표 간의 특징 분포를 정규화하여 일치시킴.
• 다중 브런치 네트워크나 외부 검출기 없이도 통합된 단일 스트림 아키텍처를 사용하여 로컬 특징 추출을 간소화.
• 수렴성과 강인성을 향상시키기 위해 웜업-1 학습률 스케줄링 및 특징 정규화 적용.

실험 결과

연구 질문

• RQ1 이질적인 카메라 조건에서 글로벌 및 로컬 어텐션 메커니즘을 갖춘 통합 모델이 다중 브런치 또는 다중 스트림 아키텍처를 능가할 수 있는가?
• RQ2 어텐션 모듈을 통한 자기 지도형 로컬 특징 학습이 감독 기반 파트 애너테이션의 필요성을 제거하면서도 정확도를 유지하거나 향상시키는가?
• RQ3 레이어 정규화와 최적화된 손실 조합 전략이 배치 정규화 대비 재식별 작업에서 모델 안정성과 성능 향상에 기여하는가?
• RQ4 가림과 시점 변화가 존재하는 환경에서 글로벌 어텐션은 특징의 풍부성과 강인성을 얼마나 향상시키는가?
• RQ5 VeRi-776, VRIC, VeRi-Wild와 같은 표준 벤치마크에서 기존 최신 기술 수준의 모델 대비 GLAMOR는 크기, 속도, 정확도 측면에서 어떻게 비교되는가?

주요 결과

• GLAMOR는 VeRi-776에서 mAP 80.34를 기록하며 PGAN을 포함한 이전 SOTA 방법을 초월했고, 랭크-1 정확도는 96.53%였다.
• 다양한 해상도와 스케일을 가진 이미지가 포함된 과도한 도전적인 VRIC 데이터셋에서 GLAMOR는 mAP 76.48, 랭크-1 78.58%를 기록하며 기존 단일 모델 접근 방식을 능가했다.
• 대규모 VeRi-Wild 벤치마크에서 GLAMOR는 mAP 77.15, 랭크-1 92.13%를 기록하여 악성 현실 조건에서도 강력한 일반화 및 강인성을 입증했다.
• GLAMOR는 모델 파라미터를 11M로 줄여 다음으로 컴팩트한 모델(MTML-OSG, 110M)보다 약 10배 작아졌고, MTML-OSG 대비 mAP를 25% 향상시켰다.
• 레이어 정규화가 배치 정규화(66.10)와 그룹 정규화(67.12)를 모두 능가하는 최상의 성능(mAP 68.45)을 내며 배치 크기 변화에 대한 안정성 덕분이었다.
• 글로벌 및 로컬 어텐션 모듈의 조합은 mAP를 73.28로 끌어올렸으며, CBAM(63.59)과 기본 모델(63.59)을 크게 능가해 어텐션 설계의 효과성을 입증했다.