[논문 리뷰] Bridging the Source-to-target Gap for Cross-domain Person Re-Identification with Intermediate Domains

Yongxing Dai, Yifan Sun외 4명|arXiv (Cornell University)|2022. 03. 03.

Video Surveillance and Tracking Methods인용 수 11

한 줄 요약

이 논문은 중간 도메인을 도입하여 원천 도메인과 타겟 도메인 간의 격차를 줄임으로써 보다 부드러운 지식 전이를 가능하게 하는 새로운 교차 도메인 인물 재식별 방법인 IDM++을 제안한다. 특징 혼합을 통해 중간 도메인을 생성하고, 미러 생성 모듈을 통해 원래의 정체성을 유지함으로써 IDM++은 기존 방법보다 최대 9.9% 높은 랭크-1 정확도를 달성하여 MSMT17에서 비지도 도메인 적응 환경에서 최신 기준 성능을 달성한다.

ABSTRACT

Cross-domain person re-identification (re-ID), such as unsupervised domain adaptive (UDA) re-ID, aims to transfer the identity-discriminative knowledge from the source to the target domain. Existing methods commonly consider the source and target domains are isolated from each other, i.e., no intermediate status is modeled between both domains. Directly transferring the knowledge between two isolated domains can be very difficult, especially when the domain gap is large. From a novel perspective, we assume these two domains are not completely isolated, but can be connected through intermediate domains. Instead of directly aligning the source and target domains against each other, we propose to align the source and target domains against their intermediate domains for a smooth knowledge transfer. To discover and utilize these intermediate domains, we propose an Intermediate Domain Module (IDM) and a Mirrors Generation Module (MGM). IDM has two functions: 1) it generates multiple intermediate domains by mixing the hidden-layer features from source and target domains and 2) it dynamically reduces the domain gap between the source / target domain features and the intermediate domain features. While IDM achieves good domain alignment, it introduces a side effect, i.e., the mix-up operation may mix the identities into a new identity and lose the original identities. To compensate this, MGM is introduced by mapping the features into the IDM-generated intermediate domains without changing their original identity. It allows to focus on minimizing domain variations to promote the alignment between the source / target domain and intermediate domains, which reinforces IDM into IDM++. We extensively evaluate our method under both the UDA and domain generalization (DG) scenarios and observe that IDM++ yields consistent performance improvement for cross-domain re-ID, achieving new state of the art.

연구 동기 및 목표

• 교차 도메인 인물 재식별에서 큰 도메인 갭 문제를 해결하기 위해, 특히 비지도 도메인 적응(Um) 및 도메인 일반화(DG) 환경에서의 과제를 다루기 위해.
• 서로 고립되어 있고 유사성이 낮은 도메인 간에 직접적인 원천-타겟 도메인 정렬이 어려운 점을 극복하기 위해.
• 원천 도메인과 타겟 도메인 사이에 연속적인 경로를 모델링하기 위해 중간 도메인을 도입하여 다리를 놓는 것.
• 특징 혼합 과정에서 자주 손실되는 정체성 정보를 도메인 정렬 중에 유지하기 위해.
• 특히 MSMT17과 같은 대규모이고 도전적인 데이터셋에서 다양한 백본과 벤치마크 데이터셋 간에 일관된 성능 향상을 달성하기 위해.

제안 방법

• 원천 도메인과 타겟 도메인의 은닉층 특징을 혼합하여 다수의 중간 도메인을 생성하는 중간 도메인 모듈(IDM)을 제안한다.
• IDM 내에서 동적 도메인 갭 감소 메커니즘을 적용하여 원천/타겟 특징와 중간 도메인 특징 간의 격차를 최소화한다.
• 원래의 원천 및 타겟 정체성을 중간 도메인으로 매핑하면서 정체성 레이블을 변경하지 않는 미러 생성 모듈(MGM)을 도입한다.
• 원본 샘플과 그들의 MGM에 의해 생성된 미러 간의 특징 유사성을 강제로 보장하기 위해 교차 도메인 일관성 손실을 사용한다.
• IDM과 MGM을 통합한 유일한 프레임워크인 IDM++을 구성하여 도메인 정렬과 정체성 유지 간 상호 강화를 가능하게 한다.
• 표준 재식별 백본에 최소한의 아키텍처 수정을 가하여 UDA 및 DG 환경에서 모두 엔드 투 엔드로 적용한다.

실험 결과

연구 질문

• RQ1 원천 도메인과 타겟 도메인 사이에 중간 도메인을 모델링하면 교차 도메인 인물 재식별에서 지식 전이 성능이 향상되는가?
• RQ2 기존 방법과 비교해 볼 때, 중간 도메인을 통한 원천 및 타겟 도메인 정렬이 직접적인 도메인 정렬의 어려움을 줄이는가?
• RQ3 중간 도메인 생성 시 특징 혼합 과정 동안 정체성 정보를 유지할 수 있으며, 이를 어떻게 달성할 수 있는가?
• RQ4 제안된 IDM++ 프레임워크는 비지도 도메인 적응 및 도메인 일반화 환경에서 최신 기준 방법과 비교해 어떻게 성능을 냅니다?
• RQ5 중간 도메인의 사용이 타겟 도메인에서 클러스터링 품질과 특징의 구분 능력을 얼마나 향상시키는가?

주요 결과

• IDM++는 도전적인 MSMT17 벤치마크에서 비지도 도메인 적응 환경에서 기존 최고 성능을 최대 9.9% 높은 랭크-1 정확도로 초월하여 새로운 최고 성능을 달성한다.
• 도메인 일반화 환경에서는 MSMT17에서 기존 최고 성능 대비 최대 7.8% 높은 랭ĸ-1 정확도를 확보한다.
• 다양한 백본 네트워크에서 일관되게 성능 향상을 보이며, 특히 가장 크고 도전적인 MSMT17 데이터셋에서 뚜렷한 성과 향상을 보인다.
• BCubed F-score와 NMI로 측정한 의사 레이블 품질은 IDM++가 베이스라인 또는 IDM만 사용한 경우보다 유의미하게 높아, 레이블 노이즈가 감소했음을 시사한다.
• 시각화 결과는 IDM++가 중간 도메인을 통해 원천 도메인과 타겟 도메인의 분포를 효과적으로 정렬하며, 원천/중간 및 타겟/중간 쌍 간의 거리 분포 격차가 최소화되었음을 확인한다.
• MGM 모듈은 원본 샘플과 그들의 중간 도메인 내 미러 간의 특징 분포가 잘 정렬되어 있음을 보여주며, 정체성에 특화된 특징 분포를 성공적으로 유지한다.