[논문 리뷰] Deep Transductive Semi-supervised Maximum Margin Clustering

Gang Chen|arXiv (Cornell University)|2015. 01. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 18

한 줄 요약

이 논문은 쌍별 제약 조건을 사용하여 레이블이 붙은 데이터와 레이블이 없는 데이터를 모두 활용해 최대 마진 프레임워크를 통해 클러스터링을 최적화하면서, 스택드 제한된 볼츠만 머신을 통해 비선형 표현을 함께 학습하는 딥 전환형 준지도 학습 최대 마진 클러스터링 방법을 제안한다. 이 방법은 MNIST 및 COIL 데이터셋에서 최신 기술보다 뚜렷이 뛰어난 성능을 보이며, 특히 제한된 지도 학습 환경에서 뛰어난 클러스터링 정확도와 강건성을 입증한다.

ABSTRACT

Semi-supervised clustering is an very important topic in machine learning and computer vision. The key challenge of this problem is how to learn a metric, such that the instances sharing the same label are more likely close to each other on the embedded space. However, little attention has been paid to learn better representations when the data lie on non-linear manifold. Fortunately, deep learning has led to great success on feature learning recently. Inspired by the advances of deep learning, we propose a deep transductive semi-supervised maximum margin clustering approach. More specifically, given pairwise constraints, we exploit both labeled and unlabeled data to learn a non-linear mapping under maximum margin framework for clustering analysis. Thus, our model unifies transductive learning, feature learning and maximum margin techniques in the semi-supervised clustering framework. We pretrain the deep network structure with restricted Boltzmann machines (RBMs) layer by layer greedily, and optimize our objective function with gradient descent. By checking the most violated constraints, our approach updates the model parameters through error backpropagation, in which deep features are learned automatically. The experimental results shows that our model is significantly better than the state of the art on semi-supervised clustering.

연구 동기 및 목표

• 비선형 다양체의 클러스터링에서 선형 거리 측정의 한계를 극복하기 위해 깊이 있는 특징 표현을 활용하는 것.
• 전환형 학습, 깊이 있는 특징 학습, 최대 마진 기법을 준지도 클러스터링 프레임워크 내에서 통합하는 것.
• 쌍별 제약 조건을 활용해 데이터 표현과 클러스터링 가중치를 동시에 최적화함으로써 클러스터링 성능을 향상시키는 것.
• 다양한 제약 조건 수와 클러스터 수 조건에서 전환형 학습이 준지도 클러스터링에 미치는 영향을 조사하는 것.

제안 방법

• 비선형 계층적 특징를 학습하기 위해, 탐욕적이고 계층별로 스택드 제한된 볼츠만 머신(RBMs)을 사용해 딥 신경망을 사전 학습한다.
• 가장 위반된 쌍별 제약 조건을 사용하여 오차 역전파를 통해 모델 파라미터를 업데이트하면서 기울기 하강법을 사용해 클러스터링 목적 함수를 최적화한다.
• 비라벨 데이터를 최적화 과정에 통합하여 클러스터 할당을 정밀화함으로써 전환형 학습을 통합한다.
• 다른 클러스터 간에 큰 마진을 확보하면서도 반드시 연결(Must-link) 및 연결 불가능(Cannot-link) 제약 조건을 준수하는 최대 마진 프레임워크를 구현한다.
• 반복적으로 데이터 표현과 모델 가중치를 동시에 최적화하는 이터레이티브한 공동 최적화 기법을 사용한다.
• 쌍별 제약 조건(필수 연결 및 연결 금지)을 사용해 비선형 임bedding과 클러스터 경계의 학습을 이끄는 감독 신호로 활용한다.

실험 결과

연구 질문

• RQ1 딥 신경망을 준지도 학습 쌍별 제약 조건과 결합할 경우, 비선형 다각형에서 클러스터링 성능 향상에 기여하는가?
• RQ2 쌍별 제약 조건 수가 제한적일 경우 전환형 학습이 클러스터링 정확도를 어떻게 향상시키는가?
• RQ3 전체 성능 향상에 깊이 있는 특징 학습과 전환형 학습 중 어느 것이 더 큰 기여를 하는가?
• RQ4 제안된 방법이 벤치마크 데이터셋에서 기존 최신 기술 준지도 클러스터링 접근법을 초월하는가?

주요 결과

• 제안된 방법은 MNIST 및 COIL-20/100 데이터셋에서 최신 기술 대비 유의미하게 높은 클러스터링 정확도와 Rand Index를 달성한다.
• 쌍별 제약 조건 수가 적을 경우 전환형 학습이 성능 향상에 뚜렷한 기여를 하며, 특히 클러스터 수가 적은 데이터셋에서 두드러진다.
• 100개의 클래스를 가진 COIL-100 데이터셋에서는 전환형 학습이 거의 향상되지 않아, 클러스터 수가 많아질수록 효과가 감소함을 시사한다.
• COIL-100에서의 성능 향상은 주로 전환형 원리보다 깊이 있는 특징 학습 덕분이며, 고차원 클러스터 공간에서 큰 마진을 유지하기 어려운 점을 고려할 때 이는 타당한 해석이다.
• 특히 제약 조건이 희박한 경우에도 여러 데이터셋에서 안정적이고 강건한 성능을 보이며, 표현과 클러스터링의 공동 최적화의 가치를 입증한다.