[논문 리뷰] Asymmetric Co-Teaching for Unsupervised Cross Domain Person Re-Identification

Fengxiang Yang, Ke Li외 8명|arXiv (Cornell University)|2019. 12. 03.

Video Surveillance and Tracking Methods참고 문헌 31인용 수 13

한 줄 요약

이 논문은 비대칭 공강학습(Asymmetric Co-Teaching, ACT)을 제안하며, 다양한 내부자와 외부자료를 학습하는 모델과 순수 내부자료만 학습하는 모델를 사용하여 노이즈가 있는 가짜 레이블에 저항하면서 군집 기반 도메인 적응을 향상시키는 새로운 프레임워크를 제공한다. ACT는 반복적으로 청소되고 다양한 훈련 샘플을 개선함으로써 Duke-to-Market 및 Market-to-Duke 벤치마크에서 각각 60.6%와 54.5%의 최신 기준 mAP를 달 đạt한다.

ABSTRACT

Person re-identification (re-ID), is a challenging task due to the high variance within identity samples and imaging conditions. Although recent advances in deep learning have achieved remarkable accuracy in settled scenes, i.e., source domain, few works can generalize well on the unseen target domain. One popular solution is assigning unlabeled target images with pseudo labels by clustering, and then retraining the model. However, clustering methods tend to introduce noisy labels and discard low confidence samples as outliers, which may hinder the retraining process and thus limit the generalization ability. In this study, we argue that by explicitly adding a sample filtering procedure after the clustering, the mined examples can be much more efficiently used. To this end, we design an asymmetric co-teaching framework, which resists noisy labels by cooperating two models to select data with possibly clean labels for each other. Meanwhile, one of the models receives samples as pure as possible, while the other takes in samples as diverse as possible. This procedure encourages that the selected training samples can be both clean and miscellaneous, and that the two models can promote each other iteratively. Extensive experiments show that the proposed framework can consistently benefit most clustering-based methods, and boost the state-of-the-art adaptation accuracy. Our code is available at https://github.com/FlyingRoastDuck/ACT_AAAI20.

연구 동기 및 목표

• 군집 기반 비지도 도메인 적응에서 노이즈가 있는 가짜 레이블과 낮은 신뢰도 샘플이 기각되는 문제를 해결하기 위해.
• 대칭적 공강학습의 한계를 극복하기 위해, 높은 훈련 손실로 인해 무시당하는 어려운 낮은 신뢰도 샘플을 고려하지 못하는 문제를 해결하기 위해.
• 비대칭적 데이터 흐름을 통해 외부자료와 내부자료를 명시적으로 필터링하고 재사용함으로써 모델의 일반화 능력을 향상시키기 위해.
• 청소되고 다양한 훈련 데이터를 반복적으로 상호 보완함으로써 두 모델의 분류 능력을 향상시키기 위해.

제안 방법

• 프레임워크는 사전 학습된 소스 모델을 타겟 가짜 레이블에 대해 미세조정한 후, 주요 모델(Main)과 협력 모델(Collaborator)을 초기화한다.
• 군집화(예: DBSCAN 또는 k-means에 외부자료 임계값 적용)를 사용하여 타겟 샘플을 내부자료(높은 신뢰도 군집)와 외부자료(낮은 신뢰도, 높은 변동성 샘플)로 분할한다.
• 주요 모델은 모든 내부자료와 외부자료로 학습하여 다양성을 극대화하고, 협력 모델은 낮은 손실 값을 가진 내부자료만으로 학습하여 순수성을 확보한다.
• 공강학습 과정에서 각 모델은 상대 모델의 출력에서 손실가장 낮은 샘플을 선택함으로써 상호 보완적 개선과 노이즈 저항성을 달성한다.
• 반복적으로 청소되고 대표적인 샘플로 재학습함으로써 군집 품질과 모델 성능을 향상시킨다.
• k-means와 DBSCAN를 포함한 여러 군집 방법과 호환되며, 외부자료를 군집 중심에서 가장 먼 샘플로 정의함으로써 가능하다.

실험 결과

연구 질문

• RQ1 비대칭 공강학습은 인식 재정의의 군집 기반 비지도 도메인 적응에서 강인성을 향상시킬 수 있는가?
• RQ2 노이즈에 강건한 훈련과 결합할 때 낮은 신뢰도(외부자료) 샘플의 포함 여부가 모델 일반화에 어떤 영향을 미치는가?
• RQ3 비대칭적 데이터 흐름(한 모델은 다양한 입력, 다른 모델은 순수 입력)이 대칭적 공강학습보다 더 높은 성능을 낼 수 있는가?
• RQ4 k-me안과 DBSCAN와 같은 다양한 군집 알고리즘과 제안된 프레임워크는 어느 정도 호환되는가?
• RQ5 가짜 레이블과 모델 가중치의 반복적 개선이 mAP와 랭크-1 정확도에서 일관된 향상을 이끌어내는가?

주요 결과

• ACT는 Duke-to-Market에서 60.6%의 새로운 최고 기준 mAP를 달성하였고, Market-to-Duke에서는 54.5%를 기록하여 기준 군집 방법을 초월한다.
• 가장 먼 샘플의 20%와 30%를 외부자료로 사용할 경우, 순수 k-means 기반 적응보다 mAP가 각각 3.3%와 3.1% 향상된다.
• 군집 품질에 대한 F-점수는 반복 과정을 거치며 증가하여 군집의 분류 능력 향상과 모델 일반화 향상을 시사한다.
• 훈련 과정에서 외부자료의 수가 감소함에 따라, 모델이 어려운 샘플을 더 잘 할당하고 필터링하는 것을 확인할 수 있다.
• 협력 모델은 항상 주요 모델보다 낮은 성능를 기록함으로써, 순수하고 낮은 손실 샘플에서 학습하는 역할을 확인한다.
• 다양한 군집 방법과 함께 일관된 성능 향상을 유지함으로써, 강력한 호환성과 일반화 능력을 입증한다.