[논문 리뷰] Adaptation and Re-Identification Network: An Unsupervised Deep Transfer Learning Approach to Person Re-Identification

Yu-Jhe Li, Fu-En Yang외 4명|arXiv (Cornell University)|2018. 04. 25.

Video Surveillance and Tracking Methods참고 문헌 12인용 수 7

한 줄 요약

이 논문은 레이블이 부여된 소스 데이터셋(예: Market-1501)을 활용하여 레이블이 없는 타겟 도메인(예: DukeMTMC-ReID)에서 인물 재식별을 위한 도메인 불변 특징을 학습하는 비지도 딥 전이 학습 방법, Adaptation and Re-Identification Network(ARN)을 제안한다. 특징을 도메인 불변 및 도메인 특화 성분으로 분해하고, 대조 손실을 사용함으로써 ARN은 비지도 Re-ID 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, Market-1501에서 70.3%의 Rank-1 정확도와 DukeMTMC-ReID에서 60.2%를 기록하여 일부 완전히 지도 학습된 방법보다도 뛰어난 성능을 보였다.

ABSTRACT

Person re-identification (Re-ID) aims at recognizing the same person from images taken across different cameras. To address this task, one typically requires a large amount labeled data for training an effective Re-ID model, which might not be practical for real-world applications. To alleviate this limitation, we choose to exploit a sufficient amount of pre-existing labeled data from a different (auxiliary) dataset. By jointly considering such an auxiliary dataset and the dataset of interest (but without label information), our proposed adaptation and re-identification network (ARN) performs unsupervised domain adaptation, which leverages information across datasets and derives domain-invariant features for Re-ID purposes. In our experiments, we verify that our network performs favorably against state-of-the-art unsupervised Re-ID approaches, and even outperforms a number of baseline Re-ID methods which require fully supervised data for training.

연구 동기 및 목표

• 실제 감시 환경에서 타겟 도메인에 대한 레이블이 제공되지 않는 인물 재식별 문제를 해결하기 위해.
• 비지도 도메인 적응을 통해 소스 및 타겟 데이터셋 간의 도메인 이동을 줄이기 위해 도메인 불변 표현을 학습하기 위해.
• 다른 소스 데이터셋에서만 레이블이 부여된 데이터를 사용하여 타겟 도메인에서의 재식별 성능을 향상시키기 위해.
• 기존의 비지도 Re-ID 방법을 뛰어넘고, 타겟 도메인 레이블이 없음에도 불구하고 일부 지도 학습 기반 방법보다 성능을 뛰어넘기 위해.

제안 방법

• ARN 모델은 소스 및 타겟 도메인에 대해 공유 및 전용 인코더를 사용하여 특징을 도메인 불변 및 도메인 특화 성분으로 분해한다.
• 다른 신분 간의 간격을 최대화하면서도 도메인 간 신분 일관성을 유지하기 위해 대조 손실을 사용한다.
• 레이블이 부여된 소스 도메인에서는 지도 학습 손실(교차 엔트로피 및 대조 손실)을, 레이블이 없는 타겟 도메인에서는 비지도 적응을 통해 네트워크를 훈련시킨다.
• 공유된 잠재 공간에서 도메인 불변 특징를 학습함으로써 타겟 도메인 애너테이션이 없더라도 도메인 간 매칭이 가능해진다.
• 도메인 특화 및 공유 표현을 분리하기 위해 공유 및 전용 브랜치를 갖춘 시아모이드 유사 쌍둥이 네트워크 아키텍처를 사용한다.
• 특징 수준의 정렬 전략을 통해 공유 공간이 도메인 간 신분 구별 가능한 패턴을 포착하도록 보장한다.

실험 결과

연구 질문

• RQ1 레이블이 부여된 소스 데이터셋과 레이블이 없는 타겟 데이터만을 사용하여 딥 네트워크가 도메인 불변 특징를 학습할 수 있는가?
• RQ2 다른 카메라 설정과 데이터셋 간의 도메인 이동을 줄이기 위해 비지도 도메인 적응이 얼마나 효과적인가?
• RQ3 타겟 도메인 레이블이 전혀 없을 때 비지도 Re-ID 모델이 완전히 지도 학습된 기반 모델을 뛰어넘을 수 있는가?
• RQ4 대조 손실과 전용 인코더가 모델의 구별 능력에 기여하는 정도는 어떠한가?

주요 결과

• Market-1501 데이터셋에서 ARN은 70.3%의 Rank-1 정확도와 39.4%의 mAP를 기록하여, 두 번째로 우수한 비지도 방법보다 Rank-1에서 13.6%포인트 높았다.
• DukeMTMC-ReID에서 ARN은 60.2%의 Rank-1 정확도와 33.4%의 mAP를 기록하여, 두 번째로 우수한 방법보다 Rank-1에서 13.8%포인트 높고 mAP에서 7.2포인트 높았다.
• 제거 실험 결과, 소스 도메인에서의 지도 학습 손실을 제거하면 Market-1501에서 Rank-1 정확도가 18.1% 감소하고, DukeMTMC-ReID에서는 21.4% 감소하여 이들의 중요성을 확인했다.
• 전용 인코더를 제거하면 Market-1501에서 성능이 9.8% 감소하고, DukeMTMC-ReID에서는 11.8% 감소하여 도메인 특화 노이즈를 억제하는 데 기여함을 시사했다.
• BOW와 LOMO와 같은 일부 완전히 지도 학습된 방법보다도 ARN이 DukeMTMC-ReID에서 더 뛰어난 성능을 보여, 타겟 애너테이션이 없음에도 불구하고 효과적임을 입증했다.
• 모델는 비지도 Re-ID에서 최신 기술 수준의 성능을 달성하여, 비지도 도메인 적응을 통한 도메인 불변 특징 학습의 효과성을 검증했다.