[논문 리뷰] IDM: An Intermediate Domain Module for Domain Adaptive Person Re-ID

Yongxing Dai, Jun Liu외 4명|arXiv (Cornell University)|2021. 08. 05.

Video Surveillance and Tracking Methods참고 문헌 66인용 수 7

한 줄 요약

이 논문은 비지도 도메인 적응(person re-identification, UDA Re-ID)를 위한 중간 도메인 모듈(IDM)을 제안한다. IDM는 학습 가능한 도메인 요소를 사용해 소스 도메인과 타겟 도메인 특징을 혼합함으로써 실시간으로 중간 도메인 표현을 생성한다. 브리지 손실과 다양성 손실을 적용하여 중간 도메인이 도메인 간 최단 지오데식 경로 위에 위치하도록 보장함으로써, MSMT17에서 이전 최고 성능 대비 7.7% 향상된 최고 성능을 달성한다.

ABSTRACT

Unsupervised domain adaptive person re-identification (UDA re-ID) aims at transferring the labeled source domain's knowledge to improve the model's discriminability on the unlabeled target domain. From a novel perspective, we argue that the bridging between the source and target domains can be utilized to tackle the UDA re-ID task, and we focus on explicitly modeling appropriate intermediate domains to characterize this bridging. Specifically, we propose an Intermediate Domain Module (IDM) to generate intermediate domains' representations on-the-fly by mixing the source and target domains' hidden representations using two domain factors. Based on the "shortest geodesic path" definition, i.e., the intermediate domains along the shortest geodesic path between the two extreme domains can play a better bridging role, we propose two properties that these intermediate domains should satisfy. To ensure these two properties to better characterize appropriate intermediate domains, we enforce the bridge losses on intermediate domains' prediction space and feature space, and enforce a diversity loss on the two domain factors. The bridge losses aim at guiding the distribution of appropriate intermediate domains to keep the right distance to the source and target domains. The diversity loss serves as a regularization to prevent the generated intermediate domains from being over-fitting to either of the source and target domains. Our proposed method outperforms the state-of-the-arts by a large margin in all the common UDA re-ID tasks, and the mAP gain is up to 7.7% on the challenging MSMT17 benchmark. Code is available at https://github.com/SikaStar/IDM.

연구 동기 및 목표

• 소스 도메인과 타겟 도메인이 레이블 겹침이 없는 비지도 도메인 적응(person re-identification, UDA Re-ID)에서 큰 도메인 이동 문제를 해결하기 위해.
• 지식 전이를 매끄럽게 하기 위해 소스 도메인과 타겟 도메인 사이의 다리 역할을 하는 중간 도메인을 명시적으로 모델링하기 위해.
• 소스 및 타겟 분포 간 최단 지오데식 경로 위에 위치하는 표현을 학습하여 타겟 도메인의 분류 성능을 향상시키기 위해.
• 학습된 도메인 요소의 다양성을 강제하여 한 쪽 도메인에 과적합되는 것을 방지하기 위해.

제안 방법

• IDM 모듈은 소스 도메인과 타겟 도메인의 은닉 특징을 두 개의 학습 가능한 도메인 요소를 사용해 혼합함으로써 중간 도메인 표현을 생성한다.
• 도메인 요소는 다층 공간에서 소스 도메인과 타겟 도메인 간 최단 지오데식 경로 위에 중간 표현이 위치하도록 최적화된다.
• 예측 공간과 특징 공간 양쪽에 브리지 손실을 적용하여 소스 도메인과 타겟 도메인으로부터 적절한 거리를 유지한다.
• 도메인 요소에 다양성 손실을 도입하여 한 쪽 극단 도메인 쪽으로의 붕괴를 방지하고 균형 잡힌 적응을 촉진한다.
• IDM는 플러그 앤 플레이 방식이며, 딥 네트워크의 어떤 은닉 레이어에나 삽입되어 공동 학습이 가능하다.
• 표준 Re-ID 손실과 함께 제안된 보조 손실(도메인 브리징 및 다양성)을 사용해 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 명시적인 중간 도메인 모델링이 비지도 도메인 적응(person re-identification, UDA Re-ID)에서 지식 전이를 향상시킬 수 있는가?
• RQ2 다양한 도메인 간 지오데식 경로를 효과적으로 다리로 연결하기 위해 중간 도메인이 만족해야 할 성질은 무엇인가?
• RQ3 소스 도메인과 타겟 도메인 간 최단 지오데식 경로 위에 위치하도록 중간 도메인 표현을 생성하고 제약 조건을 걸 수 있는가?
• RQ4 도메인 요소의 다양성 정규화는 적응 과정에서 소스 또는 타겟 도메인에 과적합되는 것을 방지할 수 있는가?
• RQ5 실시간으로 생성되는 중간 도메인이 다양한 UDA Re-ID 벤치마크에서 일관된 성능 향상을 이끌 수 있는가?

주요 결과

• IDM는 인위적인 도메인에서 실존 도메인으로의 UDA Re-ID 설정에서 도전적인 MSMT17 벤치마크에서 이전 최고 성능 대비 7.7% 향상된 mAP 성능을 달성한다.
• PersonX-to-Market-1501 벤치마크에서 IDM는 81.3% mAP를 기록하여 두 번째로 좋은 성능을 낸 SpCL보다 7.5%포인트 높다.
• Unreal-to-Market-1501 설정에서 IDM는 83.2% mAP를 기록하여 이전 최고 성능(JVTC+) 대비 5.0% 향상되었다.
• IDM는 실존 도메인 간 및 인위적 도메인에서 실존 도메인으로의 UDA Re-ID 작업을 포함해 모든 평가된 벤치마크에서 모든 베이스라인을 능가한다.
• 절단 실험 결과 브리지 손실과 다양성 손실 모두 최적 성능을 위해 필수적임을 확인하였으며, 둘 중 하나를 제거하면 mAP가 크게 감소한다.
• 이 방법은 다양한 학습 체계에서 효과적이며 다양한 도메인 이동 시나리오에 잘 일반화된다.