[논문 리뷰] Enhancing Diversity in Teacher-Student Networks via Asymmetric branches for Unsupervised Person Re-identification

Hao Chen, Benoit Lagadec외 1명|arXiv (Cornell University)|2020. 11. 27.

Video Surveillance and Tracking Methods참고 문헌 38인용 수 39

한 줄 요약

Mean Teacher 내부에 비대칭 분기를 도입하여 무감독 Re-ID에서 appearance- signature 다양성을 높이고 교사-학생 가중치를 분리함으로써 무감독 도메인 적응과 완전 무감독 Re-ID를 향상시킨다.

ABSTRACT

The objective of unsupervised person re-identification (Re-ID) is to learn discriminative features without labor-intensive identity annotations. State-of-the-art unsupervised Re-ID methods assign pseudo labels to unlabeled images in the target domain and learn from these noisy pseudo labels. Recently introduced Mean Teacher Model is a promising way to mitigate the label noise. However, during the training, self-ensembled teacher-student networks quickly converge to a consensus which leads to a local minimum. We explore the possibility of using an asymmetric structure inside neural network to address this problem. First, asymmetric branches are proposed to extract features in different manners, which enhances the feature diversity in appearance signatures. Then, our proposed cross-branch supervision allows one branch to get supervision from the other branch, which transfers distinct knowledge and enhances the weight diversity between teacher and student networks. Extensive experiments show that our proposed method can significantly surpass the performance of previous work on both unsupervised domain adaptation and fully unsupervised Re-ID tasks.

연구 동기 및 목표

• 무감독 Re-ID에서 특징 및 가중치 다양성 증가를 통해 의사 라벨 노이즈를 줄이려는 동기를 제시한다.
• appearance 시그니처를 다양화하기 위한 비대칭 분기를 제안한다.
• 교차-분기 감독을 도입하여 교사-학생 네트워크의 결합을 방지한다.
• 무감독 도메인 적응 및 완전 무감독 Re-ID 작업에서의 개선을 보여준다.

제안 방법

• ResNet 백본의 마지막 층을 중복하여 서로 다른 깊이와 풀링(GAP vs GMP)을 가진 두 개의 비대칭 분기를 만든다.
• 두 분기의 특징을 연결하여 클러스터링 기반 의사 레이블을 위한 더 풍부한 appearance 시그니처를 형성한다.
• 각 분기의 교사가 반대 분기의 학생을 가르치는 교차-분기 교사-학생 감독을 사용하며, 교차 엔트로피 및 소프트 트리플렛 손실을 통해 지도한다.
• DBSCAN 기반 의사 레이블링에서 가변 클러스터 수를 처리하기 위해 각 에포크마다 군집당 동적 분류기를 계산한다.
• Mean Teacher로 학습하며, 교사 가중치는 학생의 EMA이며, 교차-분기 소프트 라벨과 소프트 트리플렛 제약으로 보강된다.

실험 결과

연구 질문

• RQ1 Mean Teacher 프레임워크 내의 이질적(비대칭) 분기가 교사와 학생 간의 다양성을 유지하여 결합을 피할 수 있는가?
• RQ2 교차-분기 감독 신호가 소프트 의사 레이블의 질과 Re-ID를 위한 특징의 판별력을 향상시키는가?
• RQ3 ABMT가 표준 벤치마크에서 최첨단 무감독 도메인 적응 및 완전 무감독 Re-ID 방법과 얼마나 비교되는가?

주요 결과

• 비대칭 분기는 대상 도메인 적응 동안 성능을 크게 향상시킨다.
• DBSCAN 기반의 동적 클러스터링과 교차-분기 감독은 더 나은 하드 및 소프트 의사 레이블을 만들어낸다.
• ABMT는 Market→Duke 및 Duke→Market 작업에서 이전 Mean-Teacher 기반 UDA 방법보다 우수한 성과를 보이며(예: Market→Duke에서 69.1% mAP 및 82.0% Rank-1).
• 교차-분기 감독은 학습 전반에 걸쳐 더 높은 교사-학생 특징 다변성을 유지하여 결합을 감소시킨다.
• 백본 개선(예: IBN-ResNet50)은 모든 작업에서 결과를 추가로 향상시킨다.