[논문 리뷰] SELF-LABELLING VIA SIMULTANEOUS CLUSTERING AND REPRESENTATION LEARNING

Yuki M. Asano, Rupprecht, Christian외 1명|arXiv (Cornell University)|2019. 11. 13.

Advanced Image and Video Retrieval Techniques참고 문헌 45인용 수 98

한 줄 요약

본 논문은 SeLa를 제시한다. SeLa는 레이블링을 equipartition이 있는 최적 운송 문제로 간주하여 표현과 의사레이블을 함께 학습하는 원칙적 자가레이블링 방법이다. Sinkhorn 기반 알고리즘으로 효율적으로 해결된다. 이 방법은 ImageNet, CIFAR, SVHN 및 Pascal VOC 벤치마크에서 최첨단의 자체지도(self-supervised) 표현을 달성한다.

ABSTRACT

Combining clustering and representation learning is one of the most promising approaches for unsupervised learning of deep neural networks. However, doing so naively leads to ill posed learning problems with degenerate solutions. In this paper, we propose a novel and principled learning formulation that addresses these issues. The method is obtained by maximizing the information between labels and input data indices. We show that this criterion extends standard crossentropy minimization to an optimal transport problem, which we solve efficiently for millions of input images and thousands of labels using a fast variant of the Sinkhorn-Knopp algorithm. The resulting method is able to self-label visual data so as to train highly competitive image representations without manual labels. Our method achieves state of the art representation learning performance for AlexNet and ResNet-50 on SVHN, CIFAR-10, CIFAR-100 and ImageNet and yields the first self-supervised AlexNet that outperforms the supervised Pascal VOC detection baseline. Code and models are available.

연구 동기 및 목표

• 수동 레이블 없이 심층 표현의 비지도 학습을 추진한다.
• 퇴화된 해를 피하는 원칙적인 자가레이블링 프레임워크를 제안한다.
• 동일한 교차 엔트로피 목표를 이용하고 equipartition 제약 하에서 표현 학습과 클러스터링을 결합한다.
• 효율적인 Sinkhorn 기반 해를 사용하여 수백만 개의 이미지와 수천 개의 레이블로 이 방법을 확장한다.

제안 방법

• 레이블링을 제약된 교차 엔트로피 목표로 공식화하고, 퇴화된 해를 피하기 위해 equipartition 제약을 도입한다.
• 레이블 할당 문제는 운송 다원체(transportation polytope) 위의 최적 운송 문제임을 보인다.
• 확장성을 위해 KL 정규화를 사용하는 빠른 Sinkhorn-Knopp 변형으로 운송 문제를 이완하고 풀이한다.
• 현재 레이블과의 교차 엔트로피를 최소화하는 표현 학습과 Sinkhorn 업데이트를 통한 의사레이블 업데이트를 교대로 수행한다.
• equipartition 하에서 데이터 인덱스와 레이블 간의 상호정보를 최대화하는 해석으로 설명한다.

실험 결과

연구 질문

• RQ1 동시 클러스터링과 표현 학습에 대해 수렴성과 퇴화된 해를 피하는 것을 보장하는 unified 목표를 도출할 수 있는가?
• RQ2 optimal-transport 형식을 통한 equipartition 강제가 naive clustering-plus-ce 방법보다 자체지도 학습 성능을 향상시키는가?
• RQ3 대규모 데이터 세트(수백만개의 이미지)와 수천 개의 레이블에 이 방법의 확장성은 어떠한가?
• RQ4 다중 클러스터링 헤드와 데이터 증강을 사용하는 것이 표현을 안정화하고 향상시키는 데 어떤 이점이 있는가?

주요 결과

• AlexNet 및 ResNet-50에 대해 SVHN, CIFAR-10, CIFAR-100 및 ImageNet에서 최첨단 표현 학습 성능을 달성한다.
• 단일 감독 신호에 의존하는 다른 자체지도 방법을 능가하고 최근의 대비 학습 방법과도 경쟁력이 있다.
• 자체지도 학습으로는 Pascal VOC 검출 벤치마크를 초과한 최초의 AlexNet이다.
• 레이블 전송 실험에서 학습된 의사레이블이 scratch 학습 또는 아키텍처 간 전이 시 경쟁력 있거나 우수한 성능을 가능하게 한다.
• 등분할 정규화가 degenerate 솔루션에 대한 규제 역할을 하며 데이터 불균형에 대한 강건성을 보여준다.