[논문 리뷰] Unsupervised Domain Adaptive Re-Identification: Theory and Practice

Liangchen Song, Cheng Wang외 5명|arXiv (Cornell University)|2018. 07. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 16인용 수 66

한 줄 요약

본 논문은 이론 가이드 프레임워크를 통한 비지도 도메인 적응 re-ID를 제시하고, 특징 공간 가정과 클러스터링을 사용한 자기학습(self-training) 스킴으로 의사 라벨을 생성하며, 인물(person) 및 차량(vehicle) re-ID 작업에서 검증되었다.

ABSTRACT

We study the problem of unsupervised domain adaptive re-identification (re-ID) which is an active topic in computer vision but lacks a theoretical foundation. We first extend existing unsupervised domain adaptive classification theories to re-ID tasks. Concretely, we introduce some assumptions on the extracted feature space and then derive several loss functions guided by these assumptions. To optimize them, a novel self-training scheme for unsupervised domain adaptive re-ID tasks is proposed. It iteratively makes guesses for unlabeled target data based on an encoder and trains the encoder based on the guessed labels. Extensive experiments on unsupervised domain adaptive person re-ID and vehicle re-ID tasks with comparisons to the state-of-the-arts confirm the effectiveness of the proposed theories and self-training framework. Our code is available at \url{https://github.com/LcDog/DomainAdaptiveReID}.

연구 동기 및 목표

• 입력 공간 가정을 쌍별 특징 공간으로 적응시키는 방식으로 비지도 도메인 적응 이론을 re-ID 작업에 확장한다.
• 세 가지 특징 공간 가정(covariate shift, Separately Probabilistic Lipschitzness, weight ratio)을 도입하고 대응하는 손실을 도출한다.
• 의사 라벨을 이용해 인코더를 반복적으로 다듬는 자기학습 프레임워크를 제안한다.
• 학습을 위해 고신뢰도 대상 샘플을 선택하는 클러스터링 및 거리 기반 전략을 설계한다.
• 대규모 사람(person) 및 차량(vehicle) re-ID 데이터셋에서 효과를 입증한다.

제안 방법

• covariate shift를 쌍별 re-ID 라벨에 적응시킨다.
• 특징 쌍에 대해 Separately Probabilistic Lipschitzness (SPL)를 정의하고 intra-/inter-cluster 손실(L_intra, L_inter)을 도출한다.
• source/target 특징 분포를 정렬하기 위한 가중치 비율(weight-ratio) 기반 손실(L_WR)을 도입한다.
• Jaccard 기반 유사도(d_J)와 target-to-source 근접성 항(d_W)을 결합한 거리 매트릭을 사용하여 클러스터링용 결합 행렬 M을 형성한다.
• 거리 행렬에 대해 DBSCAN 클러스터링을 수행하여 의사 라벨이 부여된 대상 샘플을 선별한다.
• 선정된 의사 라벨 데이터로 트리플렛 손실을 사용해 학습하고 인코더를 업데이트하도록 반복한다.

실험 결과

연구 질문

• RQ1 세 가지 특징 공간 가정(covariate shift, SPL, weight ratio)이 비지도 도메인 적응 re-ID에 대한 학습 가능성 보장을 제공할 수 있는가?
• RQ2 반복적 자기학습 프레임워크에서 엔코더를 어떻게 SPL를 충족하고 weight ratio를 활용하도록 학습시킬 수 있는가?
• RQ3 클러스터링 기반 의사 라벨링 전략이 직접 전송 및 순진한 자기학습에 비해 교차 도메인 re-ID 성능을 향상시키는가?
• RQ4 제안된 거리 측정법과 클러스터링 방법(DBSCAN with k-reciprocal encoding)이 도메인 간의 사람(person) 및 차량(vehicle) re-ID에서 얼마나 효과적인가?

주요 결과

• 세 가지 특징 공간 가정 아래 비지도 도메인 적응 re-ID에 대한 이론적 보장.
• 클러스터링으로 얻은 의사 라벨을 사용해 인코더를 반복적으로 다듬는 자기학습 프레임워크.
• d_J와 d_W를 결합한 거리 측정 방식이 군집화 용이성과 의사 라벨 품질을 향상시킨다.
• 직접 전이, 기본 자기학습 및 다수의 최첨단 re-ID 방법들에 비해 사람 re-ID 벤치마크에서 실증적 향상을 보였으며(예: 교차 데이터셋 설정).
• 프레임워크를 차량 re-ID 데이터셋으로 성공적으로 확장하고 검증하여 도메인 전반에 걸친 일반성을 보여준다.