[논문 리뷰] AXM-Net: Cross-Modal Context Sharing Attention Network for Person Re-ID.

Ammarah Farooq, Muhammad Awais외 2명|arXiv (Cornell University)|2021. 01. 19.

Video Surveillance and Tracking Methods참고 문헌 33인용 수 4

한 줄 요약

AXM-Net는 가시적이고 문장적 표현을 의미적으로 정렬하는 데에 사용되는 CNN 기반의 다중모odal 주의망으로, 학습 가능한 맥락 공유 주의 메커니즘과 다중모달 유사도 손실을 활용한다. 종단간 훈련과 국소 특징에 대한 정교한 주의를 통해 사람 재식별에서 최신 기술을 크게 뛰어넘는 성능을 달성한다. 이는 사람 검색 및 다중모달 Re-ID 벤치마크에서 모두 최고 성능을 기록한다.

ABSTRACT

Cross-modal person re-identification (Re-ID) is critical for modern video surveillance systems. The key challenge is to align inter-modality representations according to semantic information present for a person and ignore background information. In this work, we present AXM-Net, a novel CNN based architecture designed for learning semantically aligned visual and textual representations. The underlying building block consists of multiple streams of feature maps coming from visual and textual modalities and a novel learnable context sharing semantic alignment network. We also propose complementary intra modal attention learning mechanisms to focus on more fine-grained local details in the features along with a cross-modal affinity loss for robust feature matching. Our design is unique in its ability to implicitly learn feature alignments from data. The entire AXM-Net can be trained in an end-to-end manner. We report results on both person search and cross-modal Re-ID tasks. Extensive experimentation validates the proposed framework and demonstrates its superiority by outperforming the current state-of-the-art methods by a significant margin.

연구 동기 및 목표

• 비디오와 텍스트 표현을 정렬하는 데 도전하면서 배경 잡음을 억제하는 것.
• 데이터에서 암묵적으로 특징 정렬을 학습할 수 있는 학습 가능한 종단간 훈련 가능한 아키텍처를 개발하는 것.
• 모odal 내 주의 메커니즘을 통해 국소 세부 정보에 집중함으로써 특징 표현을 향상시키는 것.
• 새로운 다중모달 유사도 손실 함수를 사용하여 다중모달 매칭의 강건성을 향상시키는 것.
• 사람 검색 및 다중모달 Re-ID 작업에서 최신 기술 성능을 달성하는 것.

제안 방법

• 네트워크의 입력으로 가시적 및 텍스트 모달리티에서 유도된 다중 스트림 특징 맵을 사용한다.
• 공유된 의미적 맥락에 기반해 다중모달 특징을 동적으로 정렬하는 학습 가능한 맥락 공유 의미 정렬 네트워크를 도입한다.
• 각 모달리티 내에서 분별력 있는 국소 특징을 강조하기 위해 상보적인 모달 내 주의 메커니즘을 적용한다.
• 공통 임베딩 공간에서 양성 쌍 간의 매칭을 장려하고 음성 쌍 간의 분리를 유도하기 위해 다중모달 유사도 손실을 설계한다.
• 특징 정렬과 표현 학습을 동시에 최적화하기 위해 전체 AXM-Net 아키텍처를 종단간 훈련한다.
• 모달 특징과 공유 맥락 간의 상호작용을 활용하여 모달 간 의미 일致성을 향상시킨다.

실험 결과

연구 질문

• RQ1 학습 가능한 맥락 공유 주의 메커니즘이 명시적 지도 없이도 가시적 및 텍스트 특징을 효과적으로 정렬할 수 있는가?
• RQ2 모달 내 주의 메커니즘이 다중모달 사람 재식별에서 국소 특징의 분별력을 어떻게 향상시키는가?
• RQ3 제안된 다중모달 유사도 손실이 표준 대비 손실 함수에 비해 매칭의 강건성을 얼마나 향상시키는가?
• RQ4 통합 네트워크 아키텍처의 종단간 훈련이 다단계 또는 파이프라인 방식의 접근 방식을 뛰어넘을 수 있는가?
• RQ5 모델이 사람 검색 및 다중모달 Re-ID 벤치마크 모두에 효과적으로 일반화되는가?

주요 결과

• AXM-Net는 사람 검색 및 다중모달 Re-ID 벤치마크에서 최신 기술 성능을 달성하며, 기존 방법들에 비해 뚜렷한 성능 향상을 보였다.
• 다중모달 유사도 손실의 통합은 더 분별력 있는 특징 임베딩을 이끌어내어 어려운 음성 샘플에서의 매칭 정확도를 향상시켰다.
• 모달 내 주의 메커니즘이 모델이 관련 국소 특징에 집중하는 능력을 향상시켜 특징 표현 향상에 기여하였다.
• 맥락 공유 주의 메커니즘이 암묵적이고 데이터 기반의 특징 정렬을 가능하게 하여 수동으로 설계된 정렬 전략에 대한 의존도를 감소시켰다.
• AXM-Net의 종단간 훈련은 단계별 훈련 방식에 비해 더 뛰어난 일반화 및 강건성을 제공하였다.
• 모델은 다양한 감시 환경에서 뛰어난 성능을 보이며, 모달 간 의미적 내용의 효과적인 정렬을 나타내었다.