[논문 리뷰] Learning to Generalize Unseen Domains via Memory-based Multi-Source Meta-Learning for Person Re-Identification

Yuyang Zhao, Zhun Zhong외 5명|arXiv (Cornell University)|2020. 12. 01.

Video Surveillance and Tracking Methods참고 문헌 44인용 수 14

한 줄 요약

이 논문은 개인 재식별을 위한 메모리 기반 다중 소스 메타학습 프레임워크인 M3L을 제안하며, 미사용 도메인으로의 일반화 능력을 향상시킨다. 메타학습을 통해 훈련 중에 도메인 일반화를 시뮬레이션하고, 비모수적 메모리 기반 손실과 메타 배치 정규화를 사용함으로써, M3L는 네 개의 대규모 ReID 벤치마크에서 최신 기준 성능을 달성하며, 기존 방법에 비해 영향을 받지 않는 도메인으로의 일반화 능력이 크게 향상된다.

ABSTRACT

Recent advances in person re-identification (ReID) obtain impressive accuracy in the supervised and unsupervised learning settings. However, most of the existing methods need to train a new model for a new domain by accessing data. Due to public privacy, the new domain data are not always accessible, leading to a limited applicability of these methods. In this paper, we study the problem of multi-source domain generalization in ReID, which aims to learn a model that can perform well on unseen domains with only several labeled source domains. To address this problem, we propose the Memory-based Multi-Source Meta-Learning (M$^3$L) framework to train a generalizable model for unseen domains. Specifically, a meta-learning strategy is introduced to simulate the train-test process of domain generalization for learning more generalizable models. To overcome the unstable meta-optimization caused by the parametric classifier, we propose a memory-based identification loss that is non-parametric and harmonizes with meta-learning. We also present a meta batch normalization layer (MetaBN) to diversify meta-test features, further establishing the advantage of meta-learning. Experiments demonstrate that our M$^3$L can effectively enhance the generalization ability of the model for unseen domains and can outperform the state-of-the-art methods on four large-scale ReID datasets.

연구 동기 및 목표

• 개인 재식별의 일반화 문제를 해결하기 위해, 개인정보 보호나 자료 가용성 제약으로 인해 타겟 도메인 데이터에 접근이 불가능한 상황에서의 도메인 일반화를 다루는 것.
• 다양한 레이블이 부여된 소스 도메인을 활용하면서 도메인 편향과 과적합을 방지함으로써 모델의 일반화 능력을 향상시키는 것.
• 대규모 ReID 데이터셋에서 파arametric 분류기가 비실용적이게 되는 깊이 있는 거리 학습에서 메타최적화의 불안정성을 해결하는 것.
• 메타학습 안정성과 특징 다양성을 향상시키기 위해 비모수적 식별 손실과 메타 배치 정규화 레이어를 개발하는 것.
• 여러 대규모 ReID 데이터셋에서 다양한 미사용 도메인에 대해 최신 기준의 제로샷 일반화 성능을 달성하는 것.

제안 방법

• 각 반복에서 소스 도메인을 동적으로 메타학습 및 메타테스트 세트로 분할하는 메타학습 전략을 도입하여, 타겟 도메인 데이터가 없는 상황에서의 도메인 일반화 테스트 시나리오를 시뮬레이션하는 것.
• 파라미터 기반 분류기를 대체하는 메모리 기반 식별 손실을 제안하여, 비모수적 특징 매칭이 가능하게 하고 고클래스 설정에서의 메타최적화를 안정화시키는 것.
• 메타테스트 중 정규화 통계를 적응적으로 조정함으로써 도메인 이동을 시뮬레이션하고 특징 일반화를 향상시키는 메타 배치 정규화 레이어(MetaBN)를 설계하는 것.
• 메타학습 손실을 최소화하면서 동시에 메타테스트 정확도를 향상시키도록 모델을 훈련시켜, 도메인 불변 표현 학습을 장려하는 것.
• 메타학습 도메인의 특징과 정체성을 저장하기 위해 메모리 백업을 활용하여, 메타최적화 중에 효율적이고 안정적인 분류를 가능하게 하는 것.
• 백본으로 ResNet-50를 사용하고, t-SNE 시각화를 통해 특징 군집화와 도메인에 관계없는 표현 학습을 분석하는 것.

실험 결과

연구 질문

• RQ1 타겟 도메인 데이터에 접근이 불가능한 상황에서, 메타학습이 개인 재식별에서 도메인 일반화 테스트 시나리오를 효과적으로 시뮬레이션할 수 있는가?
• RQ2 많은 정체성이 포함된 대규모 ReID에서 메타학습에 비모수적 메모리 기반 손실이 전통적인 파라미터 기반 분류기보다 우월한가?
• RQ3 메타 배치 정규화는 다중 소스 도메인 일반화에서 특징 다양성과 일반화 능력을 어떻게 향상시키는가?
• RQ4 M3L은 최신 기준 방법에 비해 미사용 도메인에서 제로샷 일반화 능력을 얼마나 향상시키는가?
• RQ5 더 많은 소스 도메인과 더 큰 정체성 수에 따라 M3L의 성능 향상은 증가하는가?

주요 결과

• M3L는 DukeMTMC-reID, CUHK03, MSMT17에서 훈련된 상태에서 Market-1501에서 74.5%의 랭크-1 정확도를 기록하며, 기준 모델보다 6.6%포인트 높은 성능을 달성했으며, 이는 3,110개의 훈련 정체성에 해당한다.
• 1,000개의 훈련 정체성을 가진 경우, M3L는 Market-1501에서 63.4%의 랭크-1 정확도를 기록했으며, 메타학습 하에 FC 기반 분류기 대비 3.8% 향상된 성능을 보였다.
• 3,110개의 정체성을 기반으로 훈련했을 때, 메모리 기반 손실은 FC 기반 손실 대비 6.6% 향상된 성능을 기록하여 고클래스 설정에서의 우수성을 입증했다.
• t-SNE 시각화 결과, M3L는 특히 미사용 타겟 도메인(Market-1501)에서 더 조밀하고 구분력 있는 특징 군집을 학습하는 것으로 확인되었다.
• 제안된 MetaBN 레이어는 특징 다양성을 향상시키고 일반화 능력을 향상시키며, 특히 미사용 도메인 시나리오에서 뚜렷한 효과를 보였다.
• M3L는 t-SNE 플롯에서 동일 정체성의 특징들이 서로 더 가까이 군집되어 있음을 통해 도메인 이동의 영향을 크게 감소시켰다.