[논문 리뷰] Multi-Attention-Based Soft Partition Network for Vehicle Re-Identification

Sangrok Lee, Taekang Woo외 1명|arXiv (Cornell University)|2021. 04. 21.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 다중 소프트 공간 및 채널별 주의 메커니즘을 사용하여 분류 가능한 차량 영역을 강조하고 주의 맵 내 잡음을 억제함으로써 차량 재식별을 위한 다중 주의 기반 소프트 분할(MUSP) 네트워크를 제안한다. 메타데이터나 부품 레이블 없이도 VehicleID 및 VERI-Wild에서 최신 기술 수준의 성능을 달성하며, 크로스도메인 설정에서 다른 주의 기반 방법보다 최대 6% 향상된 성능을 보였다.

ABSTRACT

Vehicle re-identification helps in distinguishing between images of the same and other vehicles. It is a challenging process because of significant intra-instance differences between identical vehicles from different views and subtle inter-instance differences between similar vehicles. To solve this issue, researchers have extracted view-aware or part-specific features via spatial attention mechanisms, which usually result in noisy attention maps or otherwise require expensive additional annotation for metadata, such as key points, to improve the quality. Meanwhile, based on the researchers' insights, various handcrafted multi-attention architectures for specific viewpoints or vehicle parts have been proposed. However, this approach does not guarantee that the number and nature of attention branches will be optimal for real-world re-identification tasks. To address these problems, we proposed a new vehicle re-identification network based on a multiple soft attention mechanism for capturing various discriminative regions from different viewpoints more efficiently. Furthermore, this model can significantly reduce the noise in spatial attention maps by devising a new method for creating an attention map for insignificant regions and then excluding it from generating the final result. We also combined a channel-wise attention mechanism with a spatial attention mechanism for the efficient selection of important semantic attributes for vehicle re-identification. Our experiments showed that our proposed model achieved a state-of-the-art performance among the attention-based methods without metadata and was comparable to the approaches using metadata for the VehicleID and VERI-Wild datasets.

연구 동기 및 목표

• 차량 재식별에서 내부 인스턴스 변형(예: 조명, 시점)과 외부 인스턴스 유사성의 과제를 해결하기 위해.
• 주로 성능을 떨어뜨리는 주의 기반 모델에서 흔히 발생하는 공간 주의 맵 내 잡음 감소를 위해.
• 부분 수준 또는 시점 기반 레이블의 고비용을 피하기 위해 종단 간 학습을 통해 분류 가능한 영역을 학습함으로써 이를 제거하기 위해.
• 공간 주의와 채널별 주의를 결합하여 더 나은 의미 선택을 위한 특징 표현 향상하기 위해.
• 메타데이터 없이도 새로운 차량과 도메인에 대해 강력한 일반화 성능 확보하기 위해.

제안 방법

• 모델은 소프트맥스 기반 활성화 함수를 사용하여 주의 가중치를 정규화하고 공간 분할을 향상시키기 위해 다중 소프트 주의 메커니즘을 적용하여 다중 공간 주의 맵을 생성한다.
• 새로운 잡음 억제 전략은 가장 낮은 활성도를 보이는(배경/의미 없는) 영역에 해당하는 주의 맵을 기각함으로써 최종 특징 표현 내 잡음을 감소시킨다.
• 공간 주의와 채널별 주의(_CBAM_ 및 _SENet_의 영감을 얻음)를 결합하여 중요한 공간 영역과 관련된 특징 채널에 동시에 집중한다.
• 아키텍처는 주의 맵이 하드 할당되지 않고 소프트하게 분포되는 소프트 분할 접근 방식을 사용하여 다양한 시점에서 더 강력한 특징 학습을 가능하게 한다.
• 이 방법은 백본 네트워크의 최종 특징 맵에만 적용되며, 향후 연구에서는 중간 레이어로의 확장 가능성을 고려한다.
• 주의 맵이 겹치지 않는 다양한 영역을 커버하도록 공간 다양성 손실을 사용하여 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 특정 부품 레이블에 의존하지 않고도 소프트 주의 메커니즘이 공간 주의 맵 내 잡음을 효과적으로 억제할 수 있는가?
• RQ2 공간 주의와 채널별 주의를 결합하면 차량 재식별에서 특징의 분류 성능가 향상되는가?
• RQ3 다중 주의 아키텍처는 메타데이터 없이도 새로운 차량과 도메인에 대해 잘 일반화되는가?
• RQ4 제안된 잡음 억제 전략은 표준 주의 메커니즘에 비해 측정 가능한 성능 향상을 이끌어내는가?
• RQ5 메타데이터나 후처리를 사용하는 최신 기술 수준의 방법과 비교해 모델은 어떻게 성능을 내는가?

주요 결과

• MUSP 모델은 메타데이터 없이도 VehicleID 및 VERI-Wild 데이터셋에서 주의 기반 방법 중 최신 기술 수준의 성능을 달성했다.
• 크로스도메인 테스트에서 MUSP는 베이스라인 및 PVEN 모델보다 mAP에서 각각 6%와 2.5% 향상되어 강력한 일반화 능력을 입증했다.
• 소프트맥스 기반 주의는 시그모이드 기반 주의보다 mAP를 0.8% 향상시켜 공간 분할에서의 우수성을 확인했다.
• 시각화 결과, 모델은 새로운 차량과 다양한 시점 조건에서도 분류 가능한 차량 부품(예: 헤드라이트, 그릴)을 성공적으로 국소화했다.
• 메타데이터를 사용하는 방법과 비교해 유사한 성능을 달성함으로써, 고비용 레이블 없이도 높은 정확도를 달성할 수 있음을 증명했다.
• 제거 분석 결과, 공간 주의 및 채널별 주의 모듈이 성능 향상에 기여했으며, 특히 잡음 억제 메커니즘이 잘못된 활성화를 줄이는 데 핵심적인 역할을 했다.