[논문 리뷰] CANU-ReID: A Conditional Adversarial Network for Unsupervised person Re-IDentification

Guillaume Delorme, Yihong Xu외 3명|arXiv (Cornell University)|2019. 04. 02.

Video Surveillance and Tracking Methods참고 문헌 56인용 수 14

한 줄 요약

이 논문은 클러스터 중심을 기반으로 한 카메라 기반 적대적 훈련을 조건화하여 카메라에 의존하는 특징 편향을 줄이고, 비지도(person re-identification) 성능을 향상시키는 조건부 적대적 네트워크인 CANU-ReID를 제안한다. 클러스터 기반 허위 레이블링과 신뢰도 인식 도메인 적응을 통합함으로써 네 가지 벤치마크 설정에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Unsupervised person re-ID is the task of identifying people on a target data set for which the ID labels are unavailable during training. In this paper, we propose to unify two trends in unsupervised person re-ID: clustering & fine-tuning and adversarial learning. On one side, clustering groups training images into pseudo-ID labels, and uses them to fine-tune the feature extractor. On the other side, adversarial learning is used, inspired by domain adaptation, to match distributions from different domains. Since target data is distributed across different camera viewpoints, we propose to model each camera as an independent domain, and aim to learn domain-independent features. Straightforward adversarial learning yields negative transfer, we thus introduce a conditioning vector to mitigate this undesirable effect. In our framework, the centroid of the cluster to which the visual sample belongs is used as conditioning vector of our conditional adversarial network, where the vector is permutation invariant (clusters ordering does not matter) and its size is independent of the number of clusters. To our knowledge, we are the first to propose the use of conditional adversarial networks for unsupervised person re-ID. We evaluate the proposed architecture on top of two state-of-the-art clustering-based unsupervised person re-identification (re-ID) methods on four different experimental settings with three different data sets and set the new state-of-the-art performance on all four of them. Our code and model will be made publicly available at https://team.inria.fr/perception/canu-reid/.

연구 동기 및 목표

• 목표 데이터에 정답 레이블이 없을 때 발생하는 도메인 이탈 문제를 해결한다.
• 표준 적대적 학습에서 발생하는 악성 전이를 극복한다. 이는 특징에 카메라별 특수 편향을 부작용적으로 포함시키기 때문이다.
• 클러스터 기반 허위 레이블링과 적대적 도메인 적응을 통합하여 다양한 카메라 시점에서의 특징 일반화를 향상시킨다.
• 학습된 특징에서 카메라 의존성을 줄이면서도 신원 정보를 유지할 수 있는 조건화 메커니즘을 개발한다.
• 레이블이 없는 목표 데이터를 요구하지 않고도 조건부 적대적 훈련이 클러스터링 품질과 재식별 성능을 향상시킨다는 것을 입증한다.

제안 방법

• 정답 레이블이 없는 목표 이미지에서 깊이 있는 특징을 생성하기 위해 사전 훈련된 특징 추출기를 사용한다.
• 클러스터 중심을 신원 표현으로 사용하여 DBSCAN 클러스터링을 적용해 특징을 허위 ID로 그룹화한다.
• 샘플이 属하는 클러스터의 중심을 조건으로 삼아 카메라 도메인을 분류하는 조건부 적대적 디스criminator를 설계한다.
• 조건 벡터가 클러스터 수와 무관하게 순열 불변성을 유지하도록 보장하여 확장성과 강건성을 확보한다.
• 생성자(generator)가 도메인 분류 오차를 최소화하면서도 신원 일致성을 유지하도록, 최소-최대 목표를 통해 특징 추출기와 디스criminator를 함께 훈련한다.
• 기존의 클러스터 기반 비지도 재식별 프레임워크(MMT 등)에 플러그인 모듈로 통합하여 조건부 적대적 모듈을 적용한다.

실험 결과

연구 질문

• RQ1 비지도 인식에서 적대적 학습이 카메라별 편향을 효과적으로 줄일 수 있는가?
• RQ2 클러스터 중심을 기반으로 한 디스criminator의 조건화가 카메라 간 비균일한 ID 분포로 인한 악성 전이를 완화하는가?
• RQ3 기존의 적대적 훈련 대비 제안된 조건부 전략이 클러스터링 품질과 재식별 정확도에서 어떤 차이를 보이는가?
• RQ4 특징 표현에서 카메라 의존성을 제거하면서도 신원 정보를 얼마나 잘 유지하는가?
• RQ5 제안된 프레임워크는 기존의 클러스터 기반 비지도 재식별 기반 모델에 일반적으로 적용 가능할 수 있는가?

주요 결과

• CANU-ReID는 DukeMTMC, Market-1501, MSMT1287 세 가지 데이터셋에서 평가한 네 가지 비지도 재식별 설정 전반에서 새로운 최신 기술 성능(SOTA)을 달성한다.
• 조건부 적대적 전략은 허위 레이블과 카메라 인덱스 간의 상호정보를 크게 감소시켜 학습된 특징에서 카메라 의존성이 낮다는 것을 시사한다.
• 반복적인 클러스터링 과정에서 잃어버린 신원 수가 감소하여, 훈련 에포크 수에 걸쳐 허위 레이블링의 안정성과 강건성이 향상됨을 보여준다.
• 단순한 적대적 훈련과 비교했을 때, 아블레이션 연구를 통해 CANU-ReID는 카메라 편향을 최소화하면서도 더 잘 신원 정보를 유지함을 입증한다.
• 중심 기반 조건화는 클러스터 수가 변하더라도 더 일관되고 일반화 가능한 특징을 생성한다.
• 제안된 프레임워크는 기존의 클러스터 기반 재식별 방법과 호환되며, 통합 시 일관되게 성능 향상을 이룬다.