[논문 리뷰] Imitating Targets from all sides: An Unsupervised Transfer Learning method for Person Re-identification

Jiajie Tian, Teng Zhu외 4명|arXiv (Cornell University)|2019. 04. 10.

Video Surveillance and Tracking Methods참고 문헌 20인용 수 6

한 줄 요약

이 논문은 도메인 간 공통 클래스 스타일 특징을 활용하여 분류 가능한 표현을 학습하는 새로운 ImitateModel를 통해 이중 분류 손실을 훈련시켜, 서로 다른 데이터셋 간의 편향과 데이터셋 내 변화를 완화하는 비지도 전이 학습 방법을 제안한다. 이 방법은 레이블이 없는 타겟 데이터를 요구하지 않으며, Market-1501 및 DukeMTMC-reID 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

Person re-identification (Re-ID) models usually show a limited performance when they are trained on one dataset and tested on another dataset due to the inter-dataset bias (e.g. completely different identities and backgrounds) and the intra-dataset difference (e.g. camera invariance). In terms of this issue, given a labelled source training set and an unlabelled target training set, we propose an unsupervised transfer learning method characterized by 1) bridging inter-dataset bias and intra-dataset difference via a proposed ImitateModel simultaneously; 2) regarding the unsupervised person Re-ID problem as a semi-supervised learning problem formulated by a dual classification loss to learn a discriminative representation across domains; 3) exploiting the underlying commonality across different domains from the class-style space to improve the generalization ability of re-ID models. Extensive experiments are conducted on two widely employed benchmarks, including Market-1501 and DukeMTMC-reID, and experimental results demonstrate that the proposed method can achieve a competitive performance against other state-of-the-art unsupervised Re-ID approaches.

연구 동기 및 목표

• 다른 정체성과 배경으로 인해 발생하는 데이터셋 간 편향(예: 서로 다른 정체성과 배경)과 카메라 차이로 인한 데이터셋 내 변동성(예: 카메라 차이)으로 인한 도메인 이동 문제를 해결한다.
• 레이블이 없는 타겟 데이터셋을 활용하여 타겟 애너테이션 없이도 모델의 일반화 능력을 향상시킬 수 있도록 비지도 사람 재식별을 가능하게 한다.
• 비지도 재식별 문제를 이중 분류 손실을 사용하여 준지도 학습 문제로 재구성하여 도메인 간 특징의 구별 능력을 향상시킨다.
• 다른 도메인 간 공통적인 특성 구조를 활용하여 일반화 능력을 향상시킨다.

제안 방법

• 이중 분류 손실을 통해 서로 다른 도메인 간 표현을 학습함으로써 데이터셋 간 편향과 데이터셋 내 변동성을 동시에 보완하는 ImitateModel을 도입한다.
• 이중 분류 손실을 사용하여 소스 데이터의 레이블과 타겟 데이터의 레이블 없음 데이터를 모두 활용하는 준지도 학습 문제로 비지도 재식별 작업을 재구성한다.
• 공통된 의미적 패턴을 포착하는 클래스 스타일 공간을 통해 도메인 간 특징 표현의 일관성을 유도함으로써 구별 가능한 특징을 학습한다.
• 클래스 스타일 공간을 활용하여 도메인 불변 특징을 모델링함으로써 모델이 새로운 도메인으로의 일반화 능력을 향상시킨다.
• 소스 도메인에 대한 지도적 대비 손실과 타겟 도메인에 대한 의사 레이블 기반 자기 훈련을 조합하여 모델을 엔드 투 엔드로 훈련시킨다.
• 특징 수준의 정규화와 메트릭 학습을 적용하여 학습된 임bedding의 구별 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 비지도 전이 학습 방법이 사람 재식별에서 데이터셋 간 편향과 데이터셋 내 변동성을 효과적으로 줄일 수 있는가?
• RQ2 다른 도메인 간 공통된 클래스 스타일 특징을 모델링하면 비지도 재식별에서 일반화 능력이 어떻게 향상되는가?
• RQ3 타겟 애너테이션이 없는 상황에서 이중 분류 손실 전략이 구별 가능한 표현 학습을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 ImitateModel은 표준 벤치마크에서 기존의 비지도 재식별 방법보다 우수한 성능을 보일 수 있는가?

주요 결과

• 제안된 방법은 Market-1501 및 DukeMTMC-reID 벤치마크에서 경쟁력 있는 성능을 달성하며, 다른 최신 비지도 재식별 접근법을 능가한다.
• 이중 분류 손실은 준지도 방식으로 의사 레이블이 부여된 타겟 샘플을 활용하여 특징의 구별 능력을 크게 향상시킨다.
• ImitateModel은 데이터셋 간 편향과 데이터셋 내 변동성을 동시에 다룸으로써 도메인 이동을 효과적으로 줄인다.
• 클래스 스타일 공간을 활용하면 다양한 도메인 적응 시나리오에서 일관된 성능 향상이 관찰되어 일반화 능력 향상이 입증된다.
• 카메라 시야, 조명, 배경의 변화로 인한 도메인 이동에 대해 높은 강건성을 보여준다.
• 절단 실험을 통해 이중 손실과 클래스 스타일 공간이 최종 성능에 기여하는 데 의미 있는 기여를 한다고 확인된다.