[논문 리뷰] Camera Adversarial Transfer for Unsupervised Person Re-Identification.

Guillaume Delorme, Xavier Alameda-Pineda외 2명|arXiv (Cornell University)|2019. 04. 02.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

이 논문은 클러스터링 기반 허위 레이블링과 카메라별 도메인 적응을 통합하는 비지도(person re-identification)를 위한 새로운 조건부 적대적 학습 프레임워크를 제안한다. 조건부 GAN에서 클러스터 중심을 순열에 영향을 받지 않는 조건부 벡터로 사용함으로써, 여러 카메라 시점 간에 도메인에 관계없이 불변하는 특징을 학습하며, 세 가지 데이터셋의 네 가지 벤치마크 설정에서 새로운 최상의 성능(SOTA)을 달성한다.

ABSTRACT

Unsupervised person re-ID is the task of identifying people on a target data set for which the ID labels are unavailable during training. In this paper, we propose to unify two trends in unsupervised person re-ID: clustering & fine-tuning and adversarial learning. On one side, clustering groups training images into pseudo-ID labels, and uses them to fine-tune the feature extractor. On the other side, adversarial learning is used, inspired by domain adaptation, to match distributions from different domains. Since target data is distributed across different camera viewpoints, we propose to model each camera as an independent domain, and aim to learn domain-independent features. Straightforward adversarial learning yields negative transfer, we thus introduce a conditioning vector to mitigate this undesirable effect. In our framework, the centroid of the cluster to which the visual sample belongs is used as conditioning vector of our conditional adversarial network, where the vector is permutation invariant (clusters ordering does not matter) and its size is independent of the number of clusters. To our knowledge, we are the first to propose the use of conditional adversarial networks for unsupervised person re-ID. We evaluate the proposed architecture on top of two state-of-the-art clustering-based unsupervised person re-identification (re-ID) methods on four different experimental settings with three different data sets and set the new state-of-the-art performance on all four of them. Our code and model will be made publicly available at this https URL.

연구 동기 및 목표

• 학습 데이터에 정체성 레이블이 없는 비지도 인물 재식별 도전 과제를 해결한다.
• 다른 카메라 시점 간의 분포 이탈로 인해 발생하는 적대적 학습에서의 악성 전이(negative transfer)를 완화한다.
• 클러스터링 기반 허위 레이블링과 도메인 적응을 통합하여 카메라 간 특징 일반화를 향상시킨다.
• 클러스터 순서에 민감하지 않고 클러스터 수와 무관한 조건부 메커니즘을 개발한다.
• 정체성 레이블이 필요 없이 여러 비지도 재식별 벤치마크에서 최상의 성능을 달성한다.

제안 방법

• 비지도 인물 재식별에서 도메인 적응을 가능하게 하기 위해 각 카메라 시점을 독립된 도메인으로 모델링한다.
• 허위 ID 레이블링에서 유도한 클러스터 중심을 조건부 적대적 네트워크의 조건부 벡터로 사용한다.
• 클러스터 순서에 영향을 받지 않는 조건부 벡터를 설계하여 안정성을 확보한다.
• 클러스터 수와 무관한 조건부 벡터 크기를 도입하여 확장성을 유지한다.
• 특징 분포를 카메라 간에 정렬하면서도 정체성 구조를 유지하는 조건부 GAN을 훈련한다.
• 클러스터링에서 생성한 허위 레이블을 사용해 특징 추출기를 미세조정하고, 일반화를 향상시키기 위해 적대적 훈련을 통합한다.

실험 결과

연구 질문

• RQ1 조건부 적대적 학습이 비지도 인물 재식별에서 여러 카메라 시점 간 특징 정렬을 향상시키는 데 효과적인가?
• RQ2 클러스터 중심을 조건부 벡터로 사용할 경우, 교차 카메라 특징 학습에서 모델의 안정성과 성능에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 일반적인 재식별을 위한 표준 적대적 도메인 적응에서 흔히 관찰되는 악성 전이를 완화하는가?
• RQ4 기존의 클러스터링 기반 비지도 재식별 방법과 통합했을 때, 제안된 프레임워크가 성능 향상에 얼마나 기여하는가?
• RQ5 정체성 주석이 필요 없이 다양한 데이터셋과 실험 설정에서 일반화 가능한가?

주요 결과

• 제안된 방법은 세 가지 벤치마크 데이터셋에서 평가한 네 가지 실험 설정 전부에서 새로운 최상의 성능(SOTA)을 달성한다.
• 순열에 영향을 받지 않는 조건부 벡터로 클러스터 중심을 사용함으로써 훈련이 안정화되고 악성 전이가 감소한다.
• 조건부 적대적 훈련을 통해 도메인에 관계없이 불변 표현을 학습함으로써 교차 카메라 특징 정렬이 향상된다.
• 추가적인 감독 없이 다양한 데이터 분포와 카메라 구성에서도 성능 향상을 유지한다.
• 제거 분석(ablation study)은 조건부 메커니즘이 다중 카메라 재식별에서 표준 적대적 훈련보다 성능 향상에 크게 기여함을 확인한다.