[논문 리뷰] Generalizable Person Re-identification with Relevance-aware Mixture of Experts

Yongxing Dai, Xiaotong Li외 3명|arXiv (Cornell University)|2021. 05. 19.

Video Surveillance and Tracking Methods참고 문헌 60인용 수 11

한 줄 요약

이 논문은 도메인 특화 전문가의 특징을 목표 도메인의 관련성에 따라 동적으로 통합하는 투표 메커니즘을 활용해 도메인 일반화 가능한 인물 재식별을 위한 새로운 방법인 관련성 인식 혼합 전문가(RaMoE)를 제안한다. 전문가 간 상관관계를 줄이고 메타학습을 통해 도메인 관련성을 학습함으로써, 훈련 중에 목표 도메인 데이터가 없더라도 미리 보지 않은 목표 도메인에서 최신 기술 성능을 달성한다.

ABSTRACT

Domain generalizable (DG) person re-identification (ReID) is a challenging problem because we cannot access any unseen target domain data during training. Almost all the existing DG ReID methods follow the same pipeline where they use a hybrid dataset from multiple source domains for training, and then directly apply the trained model to the unseen target domains for testing. These methods often neglect individual source domains' discriminative characteristics and their relevances w.r.t. the unseen target domains, though both of which can be leveraged to help the model's generalization. To handle the above two issues, we propose a novel method called the relevance-aware mixture of experts (RaMoE), using an effective voting-based mixture mechanism to dynamically leverage source domains' diverse characteristics to improve the model's generalization. Specifically, we propose a decorrelation loss to make the source domain networks (experts) keep the diversity and discriminability of individual domains' characteristics. Besides, we design a voting network to adaptively integrate all the experts' features into the more generalizable aggregated features with domain relevance. Considering the target domains' invisibility during training, we propose a novel learning-to-learn algorithm combined with our relation alignment loss to update the voting network. Extensive experiments demonstrate that our proposed RaMoE outperforms the state-of-the-art methods.

연구 동기 및 목표

• 기존의 도메인 일반화 가능한 ReID 방법들이 개별 소스 도메인의 특성과 목표 도메인의 관련성을 간과하는 한계를 해결하기 위해.
• 다양한 소스 도메인 전문가로부터의 보완 정보를 활용하여, 새로운 목표 도메인에서의 모델 일반화 성능을 향상시키기 위해.
• 미리 보지 않은 목표 도메인에 대한 관련성에 따라 전문가를 적응적으로 가중하는 동적 특징 통합 메커니즘을 개발하기 위해.
• 훈련 중에 목표 도메인 데이터에 접근할 수 없더라도, 관계 정렬 손실을 사용한 메타학습 접근법을 통해 투표 네트워크를 효과적으로 훈련시키기 위해.

제안 방법

• 각 소스 도메인에 대해 별도의 도메인 특화 전문가 네트워크를 훈련시어 개별 도메인의 특성와 분류 능력을 유지한다.
• 전문가 특징 간 상관관계를 최소화하기 위해 상호분리 손실을 도입하여, 다양한 도메인 간 다양하고 보완적인 표현을 확보한다.
• 미리 보지 않은 목표 도메인과 각 소스 도메인 간의 관련성을 계산하고 전문가 특징에 적응형 가중치를 할당하는 투표 네트워크를 설계한다.
• 목표 도메인 데이터가 필요 없이 일반화를 시뮬레이션할 수 있도록, 관계 정렬 손실을 사용한 메타학습 프레임워크를 활용해 투표 네트워크를 훈련시킨다.
• 투표 네트워크의 출력을 사용해 전문가 특징을 가중합으로 통합하며, 관련성이 높은 전문가일수록 더 높은 가중치를 할당한다.
• 풍부한 다차원 정보를 유지하기 위해 관련성 스코어링에 'softmax'와 특징 융합에 'concatenation'을 조합하여 사용한다.

실험 결과

연구 질문

• RQ1 단일 통합 모델에 비해 도메인 특화 전문가의 혼합이 도메인 일반화 가능한 인물 재식별에서 일반화 성능을 향상시키는가?
• RQ2 다양한 소스 도메인에 대해 새로운 목표 도메인의 관련성을 효과적으로 추정하고 추론 시에 활용할 수 있는가?
• RQ3 전문가 특징 간 상호분리 조건을 강제로 적용하면 보완적인 정보 제공 능력이 향상되어 일반화 성능에 기여하는가?
• RQ4 목표 도메인 데이터에 접근할 수 없더라도, 관계 정렬 손실을 사용한 메타학습 전략이 투표 네트워크를 효과적으로 훈련시킬 수 있는가?
• RQ5 특징 융합 방법의 선택(예: concatenation 대비 summation)이 최종 통합 특징의 성능에 어떤 영향을 미치는가?

주요 결과

• RaMoE는 여러 표준 ReID 벤치마크에서 최신 기술 성능을 달성했으며, Protocol-3 하에서 Market-1501에서 mAP 56.5, DukeMTMC-reID에서 56.9, CUHK03에서 35.5, iLIDs에서 13.5를 기록했다.
• 제거 실험 결과, 투표 메커니즘을 제거할 경우 성능이 크게 떨어지며, 관련성 인식 특징 통합의 중요성을 입증한다.
• 상호분리 손실은 전문가 간 다양하고 분류 능력 있는 특징을 효과적으로 유지함을 보여주며, 개별 전문가보다 통합 특징의 성능이 뛰어나다는 점에서 이를 뒷받침한다.
• 추론 시에만 검색 갤러리 샘플을 사용해 도메인 관련성을 계산해도 mAP가 0.2% 이내로 낮아져, 실시간 온라인 환경에서의 투표 메커니즘의 강건성을 확인한다.
• 시각화 결과, 모델이 의미 있는 도메인 관련성을 학습하고 있음을 확인했으며, iLIDs는 MSMT17 및 DukeMTMC-reID와 시각적으로 유사한 특징을 보여 관련성이 높다는 점이 일치한다.