[논문 리뷰] Mutual Mean-Teaching: Pseudo Label Refinery for Unsupervised Domain Adaptation on Person Re-identification

Yixiao Ge, Dapeng Chen외 1명|arXiv (Cornell University)|2020. 01. 06.

Video Surveillance and Tracking Methods참고 문헌 50인용 수 394

한 줄 요약

본 논문은 Mutual Mean-Teaching (MMT)을 제시한다. 이는 두 네트워크의 상호 교육 설정을 통해 온라인 소프트 레이블과 오프라인 하드 레이블로 노이즈가 있는 의사 라벨을 정제하는 사람 re-ID를 위한 비지도 도메인 적응 프레임워크이며, soft softmax-triplet loss를 사용한다.

ABSTRACT

Person re-identification (re-ID) aims at identifying the same persons' images across different cameras. However, domain diversities between different datasets pose an evident challenge for adapting the re-ID model trained on one dataset to another one. State-of-the-art unsupervised domain adaptation methods for person re-ID transferred the learned knowledge from the source domain by optimizing with pseudo labels created by clustering algorithms on the target domain. Although they achieved state-of-the-art performances, the inevitable label noise caused by the clustering procedure was ignored. Such noisy pseudo labels substantially hinders the model's capability on further improving feature representations on the target domain. In order to mitigate the effects of noisy pseudo labels, we propose to softly refine the pseudo labels in the target domain by proposing an unsupervised framework, Mutual Mean-Teaching (MMT), to learn better features from the target domain via off-line refined hard pseudo labels and on-line refined soft pseudo labels in an alternative training manner. In addition, the common practice is to adopt both the classification loss and the triplet loss jointly for achieving optimal performances in person re-ID models. However, conventional triplet loss cannot work with softly refined labels. To solve this problem, a novel soft softmax-triplet loss is proposed to support learning with soft pseudo triplet labels for achieving the optimal domain adaptation performance. The proposed MMT framework achieves considerable improvements of 14.4%, 18.2%, 13.1% and 16.4% mAP on Market-to-Duke, Duke-to-Market, Market-to-MSMT and Duke-to-MSMT unsupervised domain adaptation tasks. Code is available at https://github.com/yxgeee/MMT.

연구 동기 및 목표

• 클러스터링 기반의 비지도 도메인 적응에서 라벨 노이즈 문제를 해결한다.
• 온라인 소프트 라벨과 오프라인 하드 라벨을 이용한 의사 라벨 정제 프레임워크를 개발한다.
• 새로운 soft softmax-triplet loss를 통해 소프트 트립렛 레이블 학습을 가능하게 한다.
• 상호 평균 교육이 표준 도메인 적응 벤치마크에서 상당한 이득을 보임을 보인다.

제안 방법

• 두 개의 협력 네트워크와 시간적 평균 모델을 사용하여 다른 네트워크에 대해 신뢰할 수 있는 소프트 의사 라벨을 생성한다.
• 대안 학습 과정에서 오프라인 하드 의사 라벨과 온라인 소프트 의사 라벨을 사용하여 타깃 도메인 의사 라벨을 정제한다.
• 소프트 소프트맥스-트리플렛 손실을 도입하여 소프트 의사 트리플렛 레이블로 학습하도록 한다.
• 두 네트워크를 함께 최적화하는 동안 소프트 분류 손실과 소프트 소프트맥스-트리플렛 손실을 결합하고, 추론을 위한 최적 평균 모델을 선택한다.

실험 결과

연구 질문

• RQ1 타깃 도메인에서 상호 교사-학생 프레임워크로 의사 라벨을 정제하는 것이 사람 re-ID의 비지도 도메인 적응을 향상시킬 수 있는가?
• RQ2 soft softmax-triplet loss가 소프트하게 정제된 트리플렛 라벨로 효과적으로 학습할 수 있게 하는가?
• RQ3 MMT가 표준 re-ID 벤치마크에서 최첨단 clustering-based UDA 방법들과 비교하여 어떤 성능 향상을 보이는가?

주요 결과

• MMT는 Market-to-Duke, Duke-to-Market, Market-to-MSMT, Duke-to-MSMT의 네 가지 도메인 적응 작업에서 기존의 clustering-based UDA 방법 대비 상당한 향상을 달성한다.
• 프레임워크는 추상에서 네 가지 작업에 대해 14.4%, 18.2%, 13.4%, 16.4%로 일관되게 보고된다.
• 두 개의 시간적으로 평균화된 네트워크를 사용하여 소프트 의사 라벨을 생성하면 라벨 노이즈를 완화하고 학습을 안정화한다.
• 제안된 soft softmax-triplet loss가 소프트 트리플렛 라벨로 학습하는 것을 가능하게 해 판별적 특징 학습이 향상된다.
• MMT는 타깃 도메인 주석 없이도 여러 작업에서 거의 감독 수준의 성능에 접근하며 재랭킹과 같은 후처리 단계 없이도 좋은 성과를 보인다.