[논문 리뷰] Neural network-based clustering using pairwise constraints

Yen-Chang Hsu, Zsolt Kira|arXiv (Cornell University)|2015. 11. 19.

Neural Networks and Applications참고 문헌 32인용 수 55

한 줄 요약

이 논문은 유사/비유사 쌍으로 구성된 약한 지도학습(weak supervision)만을 사용하여 특징 임베딩을 공동으로 학습하고 클러스터링을 수행하는 엔드 투 엔드 신경망 프레임워크를 제안한다. 대trastive KL 발산 손실을 활용함으로써 모델은 명시적인 클러스터 중심이나 사전 정의된 거리 메트릭 없이 직접 클러스터 할당을 출력한다. k-means보다 뛰어난 성능을 기록하며, 전체 레이블 분류와 경쟁 가능한 결과를 내는 데 성공했으며, 클러스터 수가 과도하게 지정된 경우에도 성능이 떨어지지 않는다.

ABSTRACT

This paper presents a neural network-based end-to-end clustering framework. We design a novel strategy to utilize the contrastive criteria for pushing data-forming clusters directly from raw data, in addition to learning a feature embedding suitable for such clustering. The network is trained with weak labels, specifically partial pairwise relationships between data instances. The cluster assignments and their probabilities are then obtained at the output layer by feed-forwarding the data. The framework has the interesting characteristic that no cluster centers need to be explicitly specified, thus the resulting cluster distribution is purely data-driven and no distance metrics need to be predefined. The experiments show that the proposed approach beats the conventional two-stage method (feature embedding with k-means) by a significant margin. It also compares favorably to the performance of the standard cross entropy loss for classification. Robustness analysis also shows that the method is largely insensitive to the number of clusters. Specifically, we show that the number of dominant clusters is close to the true number of clusters even when a large k is used for clustering.

연구 동기 및 목표

• 기존의 두 단계 파이프라인에 의존하지 않고, 특징 표현을 공동으로 학습하고 클러스터링을 수행할 수 있는 엔드 투 엔드 딥 러닝 프레임워크를 개발하는 것.
• 클러스터 할당을 네트워크 파rameter를 통해 순전파만으로 데이터 기반으로 추론함으로써, 명시적인 클러스터 중심과 사전 정의된 거리 메트릭이 필요 없도록 하는 것.
• 쌍별 제약 조건(유사/비유사 쌍)의 형태로 약한 지도학습을 활용하여 네트워크를 학습함으로써, 준지도 및 무지도 학습 클러스터링을 가능하게 하는 것.
• 지정된 클러스터 수(k)가 과도하게 지정된 경우에도 강건성을 보이며, 진짜 주요 클러스터 수를 자연스럽게 식별할 수 있음을 보여주는 것.
• 완전한 레이블을 사용하여 상한 성능를 평가하기 위해, 제안된 대비 손실 기반 클러스터링과 표준 교차 엔트로피 분류 손실 간의 성능를 비교하는 것.

제안 방법

• 딥 네트워크는 대비 KL 발산 손실 함수를 사용하며, 이는 유사 쌍에 대해 예측된 클러스터 확률 간의 통계적 거리를 최소화하고, 비유사 쌍에 대해서는 이를 최대화한다.
• 네트워크는 유사/비유사 쌍으로부터 유도된 약한 레이블만을 사용하여 엔드 투 엔드로 학습되며, 이는 공간적/시간적 관계, 이웃성 가정, 또는 커뮤니티 기반 애너테이션에서 유래될 수 있다.
• 클러스터 할당과 그 확률은 k-means 등의 후처리가 필요 없이, 순전파를 통해 출력층에서 직접 도출된다.
• 명시적인 클러스터 중심과 거리 메트릭을 피하기 위해, 클러스터 할당은 네트워크의 학습된 비선형 변환과 파라미터에 의해 암묵적으로 도출된다.
• 아키텍처는 모듈식이며 유연하여 다양한 네트워크 아키텍처, 레이어 유형, 최적화 전략과의 통합이 가능하다.
• 분류와의 비교를 위해 출력 노드 수를 진짜 클래스 수와 동일하게 설정하고, 직접 정확도 비교가 가능하도록 최적 할당을 통해 클러스터 레이블을 할당한다.

실험 결과

연구 질문

• RQ1 원시 데이터로부터 쌍별 제약 조건만을 사용하여 두 단계 프로세스에 의존하지 않고, 엔드 투 엔드로 클러스터링을 수행할 수 있는 딥 네트워크를 학습시킬 수 있는가?
• RQ2 완전한 레이블이 존재할 때, 제안된 대비 손실 함수는 표준 교차 엔트로피 손실에 비해 클러스터링 정확도에서 어떻게 비교되는가?
• RQ3 클러스터 수(k)가 과도하게 지정된 경우, 이 방법은 어느 정도 강건한가? 진짜 기반 클러스터 수를 자연스럽게 식별하는가?
• RQ4 완전한 클래스 레이블 대신 쌍별 관계만을 사용할 때, 이 프레임워크는 감독 분류 성능과 비교해 유사한 성능을 낼 수 있는가?
• RQ5 동일한 약한 지도학습 조건 하에서, 기존의 두 단계 접근 방식(Siamese 네트워크 + k-means)과 비교해 이 방법은 어떻게 성능를 내는가?

주요 결과

• 제안된 방법은 기존의 두 단계 접근 방식(Siamese 네트워크 기반 특징 임베딩 후 k-means 클러스터링)보다 클러스터링 성능에서 뚜렷한 우월성을 보였다.
• 진짜 레이블에서 유도된 완전한 쌍별 제약 조건으로 학습했을 때, 대비 손실 기반 클러스터링은 교차 엔트로피 분류보다 略 높거나 유사한 정확도를 기록했으며, 특히 MNIST와 CIFAR-10와 같은 큰 데이터셋에서 두드러졌다.
• MNIST에서 클래스당 6개의 샘플만을 사용했을 때, 클러스터링 방법은 79.4%의 테스트 정확도를 기록했고, 분류 방법은 82.4%였지만, 작은 학습 세트임에도 불구하고 강력한 성능를 보였다.
• 과도하게 지정된 k에 대해 강건한 성능를 보였으며, k가 클 경우에도 대부분의 데이터가 약 10개의 주요 클러스터에 자연스럽게 할당되었고, 진짜 클러스터 수와 매우 유사했다.
• k-means 기반 기준선에서는 k를 늘일수록 하나의 클래스가 여러 개의 작은 클러스터로 분할되는 경향이 있었지만, 제안된 방법은 더 일관된 클러스터링 구조를 학습함으로써 이 문제를 피했다.
• 매우 적은 학습 샘플(예: CIFAR-10에서 클래스당 5개)이 있을 때도 효과적으로 작동했으며, 대비 손실 기반으로 22.0%의 정확도를 기록하여, 저자료 환경에서의 타당성을 입증했다.