[논문 리뷰] Disentanglement-based Cross-Domain Feature Augmentation for Effective Unsupervised Domain Adaptive Person Re-identification

Zhizheng Zhang, Cuiling Lan외 5명|arXiv (Cornell University)|2021. 03. 25.

Video Surveillance and Tracking Methods참고 문헌 41인용 수 4

한 줄 요약

이 논문은 사람 재식별을 위한 새로운 비지도 도메인 적응 방법인 분리 기반의 교차 도메인 특징 증강(DCDFA)을 제안한다. DCDFA는 특징을 도메인 불변(정체성 유지) 요소와 도메인 특화 요소로 분리한 후, 교차 도메인 특징 재조합을 통해 다양하고 신뢰할 수 있는 증강된 훈련 샘플을 생성한다. 이로 인해 추론 비용을 증가시키지 않으면서도 강력한 정체성 일반화 능력과 개선된 분포 근사 성능을 달성하여 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

Unsupervised domain adaptive (UDA) person re-identification (ReID) aims to transfer the knowledge from the labeled source domain to the unlabeled target domain for person matching. One challenge is how to generate target domain samples with reliable labels for training. To address this problem, we propose a Disentanglement-based Cross-Domain Feature Augmentation (DCDFA) strategy, where the augmented features characterize well the target and source domain data distributions while inheriting reliable identity labels. Particularly, we disentangle each sample feature into a robust domain-invariant/shared feature and a domain-specific feature, and perform cross-domain feature recomposition to enhance the diversity of samples used in the training, with the constraints of cross-domain ReID loss and domain classification loss. Each recomposed feature, obtained based on the domain-invariant feature (which enables a reliable inheritance of identity) and an enhancement from a domain specific feature (which enables the approximation of real distributions), is thus an "ideal" augmentation. Extensive experimental results demonstrate the effectiveness of our method, which achieves the state-of-the-art performance.

연구 동기 및 목표

• 소스 도메인과 타겟 도메인 간의 도메인 이동으로 인해 비지도 도메인 적응(UDA) 사람 재식별에서 신뢰할 수 없는 가짜 레이블이 발생하는 문제를 해결하기 위해.
• 실제 데이터 분포를 잘 근사하면서도 신뢰할 수 있는 정체성 레이블을 유지하는 타겟 도메인을 위한 고품질이고 다양한 훈련 샘플을 생성하기 위해.
• 분리된 표현과 교차 도메인 특징 재조합을 활용하여 UDA ReID에서 특징의 일반화 능력과 강건성을 향상시키기 위해.
• 기존 UDA 방법과 호환되는 일반적이고 효율적인 증강 전략을 제공하여 성능을 추가로 향상시키기 위해.

제안 방법

• 입력 특징를 도메인 불변/공유 특징(정체성 유지)과 도메인 특화 특징(도메인 특성 인코딩)으로 분리한다.
• 한 도메인의 도메인 불변 특징과 다른 도메인의 도메인 특화 특징을 조합하여 교차 도메인 특징 재조합을 수행하여 증강 샘플을 생성한다.
• 도메인 불변 특징의 일관성과 도메인 특화 특징 학습을 동시에 최적화하기 위해 병합된 손실 함수를 사용한다: 정체성 일치를 위한 교차 도메인 ReID 손실과 도메인 분류를 위한 도메인 분류 손실.
• 채널 별 특징 분리를 안내하기 위해 학습 가능한 어텐션 모듈을 도입하였으며, 분석 결과 채널 별 어텐션 기법이 가장 효과적임을 확인하였다.
• 정체성 기반 특징에 정규화 손실를 도입하여 특징의 구별 능력을 향상시키고 훈련의 안정성을 높였다.
• 테스트 단계에서는 분리 모듈을 제거함으로써 추론 효율성을 유지하였으며, 훈련 시간 오버헤드는 5% 미만으로 추가되었다.

실험 결과

연구 질문

• RQ1 분리된 특징 분해는 비지도 도메인 적응에서 사람 재식별의 가짜 레이블 신뢰도를 향상시킬 수 있는가?
• RQ2 교차 도메인 특징 재조합은 실제 데이터 분포를 더 잘 근사하면서도 정체성 레이블을 유지하는 증강 샘플을 생성할 수 있는가?
• RQ3 도메인 불변 및 도메인 특화 특징를 분리하여 조합함으로써 UDA ReID에서 일반화 능력과 성능 향상이 이루어지는가?
• RQ4 기존 최고 성능 기술 대비 DCDFA 전략은 효율성과 성능 측면에서 어떻게 비교되는가?

주요 결과

• DCDFA는 Market-1501 → DukeMTMC-reID 및 DukeMTMC-reID → Market-1501 설정에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 베이스라인 대비 각각 mAP 2.7%와 1.8% 향상되었다.
• Market-1501 → MSMT17 설정에서는 27.1% mAP를 기록하여 SpCL(28.0%)에 비해 略로 낮지만, 여전히 매우 경쟁력 있고 자기주도 클러스터링 방법과 상호 보완적인 성능을 보였다.
• 정체성 분리 손실(ℒCID)과 도메인 분류 손실(ℒDomain)의 공동 최적화가 성능 향상에 기여하여, 두 특징 요소에 대한 명시적 지도 학습의 중요성을 입증하였다.
• 비교 분석 결과 채널 별 어텐션 기법이 공간 및 채널-공간 어텐션 대비 특징 분리에 가장 효과적인 메커니즘이었음을 확인하였다.
• 메서드는 추가 훈련 시간이 5% 미만이며 추론 비용이 전혀 발생하지 않아 매우 효율적이고 실용적으로 적용 가능하다.
• DCDFA는 일반적이고 효과적인 플러그인 기반 증강 전략으로서, SBase와 같이 강력한 베이스라인에 적용했을 때 성능 향상 효과가 뚜렷했다.