[논문 리뷰] A probabilistic constrained clustering for transfer learning and image category discovery

Yen-Chang Hsu, Zhaoyang Lv외 3명|arXiv (Cornell University)|2018. 06. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 16인용 수 3

한 줄 요약

이 논문은 쌍별 유사도 및 이질성 제약 조건 하에서 클러스터 할당의 음의 로그우도를 직접 최소화하는 새로운 확률적 제약 클러스터링(CCL) 목적함수를 제안한다. 이는 딥 특징 표현과 클러스터 할당을 종단간(end-to-end)으로 공동 최적화할 수 있게 하며, 이로 인해 기존 방법들에 비해 더 뛰어난 확장성과 성능을 보이며, 특히 더 깊은 네트워크와 더 많은 수의 클러스터에서 뛰어난 성능을 보인다. 전이학습 및 이미지 카테고리 발견에서 최신 기술 수준의 성능을 달성하며, 하이퍼파rameter가 없고 노이즈가 있는 제약 조건에 대해 더 뛰어난 강건성을 보인다.

ABSTRACT

Neural network-based clustering has recently gained popularity, and in particular a constrained clustering formulation has been proposed to perform transfer learning and image category discovery using deep learning. The core idea is to formulate a clustering objective with pairwise constraints that can be used to train a deep clustering network; therefore the cluster assignments and their underlying feature representations are jointly optimized end-to-end. In this work, we provide a novel clustering formulation to address scalability issues of previous work in terms of optimizing deeper networks and larger amounts of categories. The proposed objective directly minimizes the negative log-likelihood of cluster assignment with respect to the pairwise constraints, has no hyper-parameters, and demonstrates improved scalability and performance on both supervised learning and unsupervised transfer learning.

연구 동기 및 목표

• 더 깊은 신경망과 더 많은 수의 클러스터에 적용될 때 기존 제약 클러스터링 방법의 확장성 한계를 해결하기 위해.
• 쌍별 제약 조건을 사용하여 종단간으로 특징 표현과 클러스터 할당을 공동 최적화하는 클러스터링 목적함수를 개발하기 위해.
• 대비 손실 대비 가능도 기반 공식화를 활용하여 비지도 이미지 카테고리 발견 및 전이학습에서 성능을 향상시키기 위해.
• KL 발산 기반 손실 대신 원리적인 확률 가능도 목적함수를 사용함으로써 하이퍼파rameter 의존성을 제거하기 위해.
• 노이즈가 있는 자동 생성 제약 조건이 있는 실제 환경에서의 강건성을 평가하기 위해.

제안 방법

• 소프트맥스를 사용하여 k개의 클러스터에 대한 범주형 분포를 출력하는 신경망을 통해 클러스터 할당 확률을 정의한다.
• 두 샘플이 같은 클러스터에 할당될 확률을 그들의 예측 클러스터 분포의 내적(dot product)으로 정의한다: P(y_i = y_j) = f_θ(x_i)^T f_θ(x_j).
• 쌍별 제약 조건을 유사한(필수 연결, must-link) 또는 이질적인(불가능 연결, cannot-link) 쌍으로 모델링하며, 유사한 쌍에 대해서는 P(y_i = y_j)를, 이질적인 쌍에 대해서는 P(y_i ≠ y_j) = 1 - P(y_i = y_j)를 사용한다.
• 모든 유사 및 이질 쌍에 대한 확률의 곱으로 구성된 가능도 목적함수 L(θ|S⁺,S⁻)를 정의하며, 이는 학습 중 음의 로그우도를 최소화함으로써 최적화된다.
• 확률적 경사 하강법을 사용하여 네트워크 파라미터 θ를 최적화하며, 최종 클러스터 할당은 훈련된 네트워크를 통해 데이터를 순전파함으로써 얻는다.
• 특징 학습과 클러스터링이 쌍별 제약 조건만을 지도로 사용하여 종단간으로 함께 훈련되는 공동 최적화 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 깊은 네트워크에서 확률 가능도 기반 클러스터링 목적함수는 KL 발산 기반 방법에 비해 확장성 면에서 승리할 수 있는가?
• RQ2 클러스터 수가 10을 초과할 경우, 특히 비지도 카테고리 발견에서 제안된 방법의 성능은 어떠한가?
• RQ3 하이퍼파rameter가 없는 것이 실제 노이즈가 있는 제약 조건 환경에서 강건성과 성능 향상에 기여하는가?
• RQ4 자동으로 생성된 제약 조건이 있는 경우, 이미지 카테고리 발견을 위한 전이학습에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 100개 이상의 카테고리가 포함된 대규모 데이터셋인 ImageNet과 같은 경우, 이 방법은 어떻게 확장되는가?

주요 결과

• VGG8를 사용한 CIFAR-100에서 CCL은 동일한 설정 하에 KCL의 44.3%보다 뛰어난 64.0%의 클러스터링 정확도를 달성한다.
• ImageNet의 ResNet-18 특징에서, CCL은 30개의 별도로 유지된 카테고리에 대해 74.4%의 클러스터링 정확도를 기록하며 CCN-KCL의 73.8%를 초월한다.
• 알 수 없는 클러스터 수 설정(k=100)에서 CCL은 ImageNet에서 KCL의 65.2%보다 뛰어난 71.5%의 정확도를 기록한다.
• Omniglot에서 CCL은 정확한 클러스터 수를 사용할 경우 83.3%의 정확도를 기록하며, k=100일 경우 80.2%를 기록하여 CCN-KCL(82.4% 및 78.1% 각각)를 모두 앞선다.
• 매우 깊은 네트워크인 PReActResNet-101에서도 CCL은 CIFAR-10에서 KCL의 21.9%에 비해 93.3%의 높은 정확도를 유지한다.
• CCL은 정규화된 상호정보량(NMI) 면에서도 일관된 승리를 보이며, Omniglot에서 0.897 NMI를 기록하여 KCL의 0.889보다 뛰어나, 더 나은 클러스터 품질을 나타낸다.