[논문 리뷰] Online Deep Clustering for Unsupervised Representation Learning

Xiaohang Zhan, Jiahao Xie외 3명|arXiv (Cornell University)|2020. 06. 18.

Video Surveillance and Tracking Methods참고 문헌 62인용 수 7

한 줄 요약

이 논문은 클러스터링과 딥 네트워크 학습을 연속적이고 종단 간(end-to-end) 프로세스로 통합하는 새로운 비지도 표현 학습 방법인 온라인 딥 클러스터링(ODC)을 제안한다. 이는 이전 방법들이 겪는 불안정한 번갈아가며 업데이트하는 문제를 피한다. 샘플과 클러스터 중심점에 대한 동적 메모리를 유지하고 레이블과 특징을 반복적으로 업데이트함으로써 ODC는 훨씬 더 안정적인 학습과 벤치마크 데이터셋에서 뛰어난 성능을 달성한다. 특히 사전 학습된 모델의 미세조정(fine-tuning) 방법으로 사용할 경우 정확도 향상도 기록한다.

ABSTRACT

Joint clustering and feature learning methods have shown remarkable performance in unsupervised representation learning. However, the training schedule alternating between feature clustering and network parameters update leads to unstable learning of visual representations. To overcome this challenge, we propose Online Deep Clustering (ODC) that performs clustering and network update simultaneously rather than alternatingly. Our key insight is that the cluster centroids should evolve steadily in keeping the classifier stably updated. Specifically, we design and maintain two dynamic memory modules, i.e., samples memory to store samples labels and features, and centroids memory for centroids evolution. We break down the abrupt global clustering into steady memory update and batch-wise label re-assignment. The process is integrated into network update iterations. In this way, labels and the network evolve shoulder-to-shoulder rather than alternatingly. Extensive experiments demonstrate that ODC stabilizes the training process and boosts the performance effectively. Code: https://github.com/open-mmlab/OpenSelfSup.

연구 동기 및 목표

• 특징 클러스터링과 네트워크 파라미터 업데이트 사이의 번갈아가며 업데이트로 인한 딥 클러스터링 학습의 불안정성 문제를 해결하기 위해.
• 감독 학습의 연속적인 학습과 유사한, 클러스터링과 표현 학습을 통합한 프레임워크를 개발하기 위해.
• 수동적인 애너테이션 없이도 비지도 표현 학습의 안정성과 성능을 향상시키기 위해.
• 제안된 온라인 클러스터링 메커니즘을 활용해 자기지도 학습 모델의 효과적인 미세조정을 가능하게 하기 위해.

제안 방법

• ODC는 이전 방법들이 사용하는 배치 기반, 에포크 단위의 클러스터링을 대체하여, 모든 네트워크 학습 반복 과정에 레이블 재할당과 중심점 업데이트를 통합한다.
• 샘플 메모리와 중심점 메모리라는 두 가지 동적 메모리 모듈을 유지한다. 샘플 메모리는 특징과 의사 레이블을 저장하고, 중심점 메모리는 변화하는 클러스터 중심점을 추적한다.
• 레이블 재할당은 현재 포워드 패스에서 얻은 특징을 사용해 온라인으로 수행되며, 별도의 특징 추출 과정이 필요 없어진다.
• 중심점은 이동 평균 전략을 사용해 점진적으로 업데이트되어 부드러운 변화를 보장하고 급격한 이동을 방지한다.
• 이 방법은 감독 학습과 유사하게 레이블과 네트워크 파라미터가 동시에 진화하는 연속적이고 끊김없는 학습을 가능하게 한다.
• 프레임워크는 표준 CNN과 호환되며, 다른 자기지도 학습 방법으로 사전 학습한 후에 미세조정 단계로 적용될 수 있다.

실험 결과

연구 질문

• RQ1 학습 중에 온라인으로 반복적으로 레이블 재할당을 수행함으로써, 비지도 클러스터링에서 딥 표현 학습의 안정성을 향상시킬 수 있는가?
• RQ2 클러스터링을 네트워크 업데이트 반복에 통합할 경우, 번갈아가며 학습하는 것과 비교해 수렴성과 성능에 어떤 영향을 미치는가?
• RQ3 ODC는 다른 자기지도 학습 방법으로 사전 학습한 모델의 표현 품질을 어느 정도 향상시킬 수 있는가?
• RQ4 실제 데이터셋에서 흔히 볼 수 있는 긴 꼬리 분포(long-tailed) 데이터 분포에 대해 ODC는 잘 일반화되는가?
• RQ5 ODC는 원래 ImageNet 클래스 레이블에 존재하지 않는 의미적으로 일관된 새로운 클러스터(예: '손', '발', '사육장 안의 동물', '绳으로 끄는 개를 이끄는 사람')를 발견할 수 있는가?

주요 결과

• ODC는 최종 학습 손실로 약 2.0을 기록하며, Deep Clustering(DC)에서 관찰된 2.9의 손실보다 유의미하게 낮아 더 뛰어난 학습 안정성을 보여준다.
• ODC에서 레이블 전환 비율은 시간이 지남에 따라 감소하고 낮은 값으로 수렴하여 학습 기간 내내 안정적이고 일관된 클러스터 할당을 의미한다.
• ODC는 가장 큰 클래스가 가장 작은 클래스보다 64배 더 많은 샘플을 포함하는 극도로 긴 꼬리 분포를 가진 ImageNet 변형에서도 강력한 성능 유지를 보이며, 성능 저하가 없었다.
• ODC는 ImageNet 원본 애너테이션에 존재하지 않는 새로운 의미적 클러스터, 예를 들어 '손', '발', '사육장 안의 동물', '줄로 끄는 개를 이끄는 사람' 등을 발견한다.
• 사전 학습된 모델의 미세조정 방법으로 사용할 경우, ODC는 다른 자기지도 학습 접근법으로 사전 학습한 모델의 성능을 크게 향상시킨다.
• 최소 클러스터 크기 임계값과 같은 하이퍼파rameter 선택에 대해 강건하며, 합리적인 범위 내에서 일관된 성능을 기록한다.