[논문 리뷰] Multiple Domain Experts Collaborative Learning: Multi-Source Domain Generalization For Person Re-Identification

Shijie Yu, Feng Zhu외 6명|arXiv (Cornell University)|2021. 05. 26.

Video Surveillance and Tracking Methods참고 문헌 59인용 수 13

한 줄 요약

이 논문은 사람 재식별(ReID)에서 다중 소스 도메인 일반화를 위한 모델에 종속되지 않는 프레임워크인 다중 도메인 전문가 협동 학습(MECL)을 제안한다. MECL은 도메인-도메인 협동 학습(DDCL)을 통해 도메인 전용 전문가의 과적합을 방지하고, 보편적 도메인 협동 학습(UDCL)을 통해 모든 도메인의 지식을 통합하는 보편적 전문가를 훈련시켜, 추론 비용이 들지 않으면서도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent years have witnessed significant progress in person re-identification (ReID). However, current ReID approaches still suffer from considerable performance degradation when unseen testing domains exhibit different characteristics from the source training ones, known as the domain generalization problem. Given multiple source training domains, previous Domain Generalizable ReID (DG-ReID) methods usually learn all domains together using a shared network, which can't learn sufficient knowledge from each domain. In this paper, we propose a novel Multiple Domain Experts Collaborative Learning (MECL) framework for better exploiting all training domains, which benefits from the proposed Domain-Domain Collaborative Learning (DDCL) and Universal-Domain Collaborative Learning (UDCL). DDCL utilizes domain-specific experts for fully exploiting each domain, and prevents experts from over-fitting the corresponding domain using a meta-learning strategy. In UDCL, a universal expert supervises the learning of domain experts and continuously gathers knowledge from all domain experts. Note, only the universal expert will be used for inference. Extensive experiments on DG-ReID benchmarks demonstrate the effectiveness of DDCL and UDCL, and show that the whole MECL framework significantly outperforms state-of-the-arts. Experimental results on DG-classification benchmarks also reveal the great potential of applying MECL to other DG tasks.

연구 동기 및 목표

• 학습 도메인과 테스트 도메인이 다를 경우 성능 저하 문제를 해결하기 위해, 특히 타겟 도메인 데이터가 없는 상황에서도 성능 저하를 방지한다.
• 기존 도메인 일반화 방법에서 공유되는 특징 추출기의 한계를 극복하여, 도메인 특유의 특징를 효과적으로 활용하지 못하는 문제를 해결한다.
• 도메인 전용 전문가가 각각의 도메인에서 깊이 있게 학습하면서도, 상호 도메인 간 지식 공유를 통해 일반화 능력을 유지할 수 있는 협동 학습 프레임워크를 개발한다.
• 미래의 연구를 촉진하기 위해 다중 소스 DG-ReID를 위한 강력하고 단순한 베이스라인(다중 도메인 동등성)을 수립한다.
• 프레임워크의 일반화 잠재력을 입증하기 위해, ReID를 넘어서는 DG-분류 작업에 적용하여 뚜렷한 성능 향상을 보였다.

제안 방법

• 모델에 종속되지 않는 프레임워크인 MECL을 제안하여, 다수의 도메인 전용 전문가와 하나의 보편적 전문가를 협동적으로 훈련시킨다.
• 각 도메인 전문가가 메타학습을 통해 정규화되는 도메인-도메인 협동 학습(DDCL)을 구현하여 과적합을 방지하고 도메인 간 내구성을 향상시킨다.
• 보편적 도메인 협동 학습(UDCL)을 도입하여, 보편적 전문가가 정렬 및 균일성 손실을 통해 도메인 전문가를 감독하고, 모든 도메인 전문가의 지식을 지수 이동 평균(EMA)으로 업데이트한다.
• 정렬 손실에서 프로젝터 헤드를 사용하여 보편적 전문가와 도메인 전문가 간의 특징 공간 일관성을 향상시켜 일반화 능력을 강화한다.
• 보편적 전문가의 파라미터에 EMA를 적용하여 학습 안정성을 높이고, 예측되지 않은 도메인으로의 일반화 능력을 향상시킨다.
• 보편적 전문가에 분류기 헤드를 추가하여 DG-분류 작업에 프레임워크를 적응시켜, 광범위한 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 도메인 전용 전문가와 보편적 전문가를 조합한 협동 학습 프레임워크가 다중 소스 도메인 일반화에서 사람 ReID의 일반화 능력을 향상시킬 수 있는가?
• RQ2 도메인-도메인 협동 학습(DDCL)이 도메인 전용 전문가의 과적합을 효과적으로 방지하면서도 도메인 간 내구성을 향상시키는가?
• RQ3 보편적 도메인 협동 학습(UDCL)이 모든 도메인의 지식을 통합함으로써 보편적 전문가가 개별 도메인 전문가를 능가할 수 있는가?
• RQ4 제안된 MECL 프레임워크는 다중 소스 DG-ReID 및 DG-분류 벤치마크에서 최신 기술 수준(SOTA) 방법과 비교해 어떻게 성능을 내는가?
• RQ5 제안된 다중 도메인 동등성(MDE) 베이스라인이 미래의 다중 소스 DG-ReID 연구를 위한 강력하고 단순한 벤치마크로 기능할 수 있는가?

주요 결과

• MECL은 다중 소스 DG-ReID 벤치마크에서 최신 기술 수준의 성능을 달성하여, QAConv, CBN, SNR, M3L, OSNet와 같은 기존 SOTA 방법을 모두 능가한다.
• SNR와 조합했을 때, MECL은 벤치마크 평균에서 mAP를 34.9%에서 44.5%로, Top-1 정확도를 51.5%에서 60.9%로 향상시켰다.
• 보편적 전문가는 평균적으로 가장 우수한 도메인 전용 전문가보다 mAP에서 1.3% 향상되고 Top-1 정확도에서 1.5% 향상되어, 뛰어난 일반화 능력을 입증했다.
• 정렬 손실에 프로젝터를 추가함으로써 평균적으로 mAP가 1.6% 향상되고 Top-1 정확도가 1.8% 향상되어 일반화 능력 향상에 기여했다.
• 균일성 손실은 추가로 mAP에서 0.8% 향상되고 Top-1 정확도에서 0.9% 향상되어, 음성 샘플을 효과적으로 활용하는 데 기여함을 보였다.
• DG-분류 벤치마크(PACS 및 OfficeHome)에서 MECL은 최신 기술 수준의 방법(MTL 및 Mixup)을 평균 정확도에서 각각 1.6%와 3.2% 초월했다.