[논문 리뷰] Attention: A Big Surprise for Cross-Domain Person Re-Identification

Haijun Liu, Jian Cheng외 2명|arXiv (Cornell University)|2019. 05. 30.

Video Surveillance and Tracking Methods참고 문헌 58인용 수 9

한 줄 요약

이 논문은 타겟 도메인 데이터를 사용하지 않고 모델의 일반화 능력과 적응 능력을 향상시키는 단순하면서도 매우 효과적인 주의 기반 방법을 제안한다. 사전 훈련된 모델에 스위치 연결을 통해 채널 및 공간 주의 메커니즘을 통합함으로써, 복잡한 보조 타겟 도메인 정보에 의존하는 방법들을 능가하는 최신 기술 수준의 성능을 달성한다. 특히 제로샷 교차 도메인 설정에서 두드러진 성능을 보인다.

ABSTRACT

In this paper, we focus on model generalization and adaptation for cross-domain person re-identification (Re-ID). Unlike existing cross-domain Re-ID methods, leveraging the auxiliary information of those unlabeled target-domain data, we aim at enhancing the model generalization and adaptation by discriminative feature learning, and directly exploiting a pre-trained model to new domains (datasets) without any utilization of the information from target domains. To address the discriminative feature learning problem, we surprisingly find that simply introducing the attention mechanism to adaptively extract the person features for every domain is of great effectiveness. We adopt two popular type of attention mechanisms, long-range dependency based attention and direct generation based attention. Both of them can perform the attention via spatial or channel dimensions alone, even the combination of spatial and channel dimensions. The outline of different attentions are well illustrated. Moreover, we also incorporate the attention results into the final output of model through skip-connection to improve the features with both high and middle level semantic visual information. In the manner of directly exploiting a pre-trained model to new domains, the attention incorporation method truly could enhance the model generalization and adaptation to perform the cross-domain person Re-ID. We conduct extensive experiments between three large datasets, Market-1501, DukeMTMC-reID and MSMT17. Surprisingly, introducing only attention can achieve state-of-the-art performance, even much better than those cross-domain Re-ID methods utilizing auxiliary information from the target domain.

연구 동기 및 목표

• 타겟 도메인 애너테이션에 의존하지 않고 교차 도메인 인물 재식별에서 모델의 일반화 및 적응 능력 향상 문제를 해결한다.
• 주의 메커니즘이 단독으로 도메인 이동 간 특징 구분력과 강건성을 크게 향상시킬 수 있는지 조사한다.
• 사전 훈련된 모델에 주의 모듈을 단순히 통합함으로써 보조 타겟 데이터를 사용하는 복잡한 도메인 적응 방법을 능가할 수 있음을 보여준다.
• 소스 도메인 데이터와 주의 기반 특징 학습만을 활용하는 교차 도메인 Re-ID를 위한 강력한 베이스라인을 수립한다.

제안 방법

• 장거리 종속성 기반(예: CBAM)과 직접 생성 기반(예: Squeeze-and-Excitation)의 두 가지 주의 메커니즘을 도입하며, 공간 및 채널 차원에서 독립적 또는 동시 적용한다.
• 사전 훈련된 CNN(예: ResNet)의 여러 단계에서 특징 맵에 주의 모듈을 적용하여, 구분 가능한 영역과 채널에 대한 적응적 집중을 가능하게 한다.
• 원본 및 주의 조절된 특징을 연결하는 스위치 연결을 사용하여 고수준 의미 정보와 중간 수준의 공간 세부 정보를 모두 유지한다.
• 타겟 데이터에서의 피지테이닝 없이 소스 도메인에서 표준 분류 손실(예: 소프트맥스 및 트리플릿 손실)을 사용해 모델을 엔드 투 엔드로 훈련한다.
• Market-1501, DukeMTMC-reID, MSMT17에서 단일 도메인 및 교차 도메인 설정 모두에서 성능을 평가한다.
• 주의 통합 이전에 아키텍처 수정 및 훈련 전략을 최적화하여 강력한 베이스라인을 수립한다.

실험 결과

연구 질문

• RQ1 주의 메커니즘 단독으로 교차 도메인 인물 재식별에서 모델의 일반화 및 적응 능력을 크게 향상시킬 수 있는가?
• RQ2 어떤 타겟 도메인 데이터도 사용하지 않고 사전 훈련된 모델에 주의를 통합하면, 보조 타겟 정보를 사용하는 기존 방법을 뛰어넘을 수 있는가?
• RQ3 대규모 도메인 이동이 있는 도메인 간(예: Market-1501 대비 DukeMTMC-reID)에서 주의 기반 기법이 특징 학습의 구분 능력을 얼마나 효과적으로 향상시키는가?
• RQ4 공간 주의와 채널 주의를 결합할 경우 제로샷 교차 도메인 Re-ID에서 특징 표현 품질에 어떤 영향을 미치는가?
• RQ5 단순한 주의 모듈이 교차 도메인 Re-ID 과제에서 복잡한 도메인 적응 프레임워크를 능가할 수 있는가?

주요 결과

• 제안된 주의 기반 방법, ADFL은 교차 도메인 Re-ID 벤치마크에서 최신 기술 수준의 성능을 달성하며, 광범위한 보조 타겟 도메인 정보를 사용하는 방법들을 능가한다.
• Market-1501 → DukeMTMC-reID에서 56.8% Rank-1 및 37.4% mAP를 기록하여, 이전 최고 성능 방법(PAP-ST-PS)보다 Rank-1에서 10.4% 향상되고 mAP에서 1.4% 향상되었다.
• DukeMTMC-reID → Market-1501에서 67.2% Rank-1 및 36.3% mAP를 기록하여, 다음으로 좋은 방법(PAP-ST-PS)보다 Rank-1에서 1.1% 향상되고 mAP에서 0.5% 향상되었다.
• 단일 도메인 설정에서도 강력한 성능(예: MSMT17 → MSMT17에서 78.2% Rank-1)을 기록하여, 이 방법의 강건성과 일반화 능력을 입증했다.
• 제거 실험 결과는 주의 통합이 특징 구분 능력을 크게 향상시키며, 다중 수준 특징을 유지하는 스위치 연결과 함께 사용될 경우 尤히 효과적임을 확인했다.
• 결과는 주의 메커니즘이 단독으로도 뛰어난 교차 도메인 일반화를 달성할 수 있음을 보여주며, 이러한 과제에 대해 복잡한 도메인 적응이 필수적이라는 가정을 도전한다.