[논문 리뷰] Refining Pseudo Labels with Clustering Consensus over Generations for Unsupervised Object Re-identification

Xiao Zhang, Yixiao Ge외 2명|arXiv (Cornell University)|2021. 06. 11.

Advanced Image and Video Retrieval Techniques참고 문헌 47인용 수 7

한 줄 요약

이 논문은 순차적인 학습 세대 간의 클러스터링 공감대를 활용하여 레이블 노이즈를 줄이는 새로운 흉내 라벨 정련 방법인 RLCC를 제안한다. 랜덤 워크를 통해 상호 세대 유사도에 따라 소프트 흉내 라벨을 전파하고 앙상블하여, RLCC는 성능을 향상시켜 MSMT17에서 SOTA 대비 최대 8.8% mAP 향상을 달성한다.

ABSTRACT

Unsupervised object re-identification targets at learning discriminative representations for object retrieval without any annotations. Clustering-based methods conduct training with the generated pseudo labels and currently dominate this research direction. However, they still suffer from the issue of pseudo label noise. To tackle the challenge, we propose to properly estimate pseudo label similarities between consecutive training generations with clustering consensus and refine pseudo labels with temporally propagated and ensembled pseudo labels. To the best of our knowledge, this is the first attempt to leverage the spirit of temporal ensembling to improve classification with dynamically changing classes over generations. The proposed pseudo label refinery strategy is simple yet effective and can be seamlessly integrated into existing clustering-based unsupervised re-identification methods. With our proposed approach, state-of-the-art method can be further boosted with up to 8.8% mAP improvements on the challenging MSMT17 dataset.

연구 동기 및 목표

• 클러스터링 기반 비지도 객체 재식별 방법에서 지속적인 흉내 라벨 노이즈 문제를 해결한다.
• 기존 시간적 앙상블 기법의 한계를 극복한다. 기존 기법은 고정된 클래스 집합을 가정하지만, 비지도 재식별에서 동적으로 변화하는 흉내 라벨에는 적용 불가능하다.
• 다음 세대에서 사용되는 정련된 흉내 라벨을 통해 학습 세대 간의 시간적 일관성을 활용하여 모델의 일반화 능력과 성능을 향상시킨다.
• 기존 비지도 재식별 프레임워크와 호환되는 플러그 앤 플레이 모듈을 개발하여 최소한의 아키텍처 변경으로 성능 향상을 달성한다.

제안 방법

• 샘플-라벨 할당의 교차율(IoU)을 사용하여 연속된 학습 세대 간의 클러스터링 공감대를 추정함으로써, 흉내 클래스 할당 간의 유사도를 측정한다.
• 클러스터링 공감대에 따라 유사도 그래프를 기반으로 랜덤 워크를 수행하여 이전 세대의 소프트 흉내 라벨을 현재 세대로 전파한다.
• 현재 예측값과 시간적으로 전파된 라벨을 모멘터리 평균 업데이트 방식으로 조합하여 현재 세대의 흉내 라벨을 정련한다.
• 정련된 소프트 흉내 라벨을 학습 목표에 통합하여, 기존의 클러스터링 기반 비지도 재식별 파이프라인에서 표준 하드 흉내 라벨을 대체한다.
• 라벨 전파의 안정성을 향상시키고, 세대 간 노이즈 또는 일관성 없는 흉내 라벨에 대한 강건성을 높이기 위해 이동 평균 전략을 사용한다.
• 매 에포크마다 흉내 라벨을 업데이트하고, 정련된 라벨을 다음 세대의 지도 학습에 사용하는 엔드 투 엔드 반복 학습 파이프라인에 적용한다.

실험 결과

연구 질문

• RQ1 비지도 객체 재식별에서 흉내 라벨이 학습 세대 간에 동적으로 변화함에 따라 시간적 앙상블 원칙을 효과적으로 적용할 수 있는가?
• RQ2 연속된 세대 간의 클러스터링 공감대를 어떻게 활용하여 신뢰할 수 있는 흉내 라벨 전파 및 정련을 이끌 수 있는가?
• RQ3 정련된 시간적 앙상블 소프트 흉내 라벨은 표준 하드 흉내 라벨 대비 노이즈를 얼마나 줄이고 mAP를 향상시킬 수 있는가?
• RQ4 제안된 RLCC 방법은 MSMT17 및 VeRi-776와 같은 도전적인 데이터셋을 포함한 다양한 벤치마크에서 일반화 가능한가?
• RQ5 소프트 라벨 계산에서의 온도 파rameter와 같은 하이퍼파rameter 선택에 대해 RLCC의 성능 향상은 얼마나 강인한가?

주요 결과

• Market-1501 데이터셋에서 RLCC는 SOTA 방법인 SpCL 대비 4.6% mAP 향상을 달성하여 77.7% mAP를 기록한다.
• 더 도전적인 DukeMTMC-reID 데이터셋에서 RLCC는 SpCL 대비 3.9% mAP 향상을 기록하여 69.2% mAP를 달성한다.
• 대규모이고 복잡한 MSMT17 벤치마크에서 RLCC는 27.9% mAP를 기록하여 SpCL의 19.1% mAP 대비 8.8% 향상된 성능을 보였다.
• 차량 재식별 벤치마크인 VeRi-776에서 RLCC는 39.6% mAP를 기록하여 SpCL의 36.9% mAP 대비 2.7% 향상된 성능을 보였다.
• 절단 실험 결과, RLCC는 특히 온도 파rameter τ에 대해 강건하며, 15에서 45의 범위에서 높은 성능 유지를 유지한다.
• 모든 평가된 데이터셋에서 기준 모델 대비 일관되게 성능 향상을 보이며, 다양한 비지도 재식별 환경에서의 일반화 능력과 안정성을 입증한다.