[논문 리뷰] Semi-supervised Clustering Ensemble by Voting

Ashraf Mohammed Iqbal, Abidalrahman Moh’d외 1명|arXiv (Cornell University)|2012. 08. 20.

Advanced Clustering Algorithms Research참고 문헌 21인용 수 22

한 줄 요약

이 논문은 투표 기반 공통 함수에 사용자가 제공한 제약 조건을 통합하여 클러스터링 정확도를 향상시키는 준지도 학습 클러스터링 앙상블 프레임워크를 제안한다. 알고리즘-데이터 적합도와 사용자 피드백을 평가하기 위해 이중 매개변수 가중치 기법을 도입하며, 재라벨링과 투표를 통해 강건한 최종 클러스터를 생성하여 전통적인 비지도 앙상블에 비해 성능을 크게 향상시킨다.

ABSTRACT

Clustering ensemble is one of the most recent advances in unsupervised learning. It aims to combine the clustering results obtained using different algorithms or from different runs of the same clustering algorithm for the same data set, this is accomplished using on a consensus function, the efficiency and accuracy of this method has been proven in many works in literature. In the first part of this paper we make a comparison among current approaches to clustering ensemble in literature. All of these approaches consist of two main steps: the ensemble generation and consensus function. In the second part of the paper, we suggest engaging supervision in the clustering ensemble procedure to get more enhancements on the clustering results. Supervision can be applied in two places: either by using semi-supervised algorithms in the clustering ensemble generation step or in the form of a feedback used by the consensus function stage. Also, we introduce a flexible two parameter weighting mechanism, the first parameter describes the compatibility between the datasets under study and the semi-supervised clustering algorithms used to generate the base partitions, the second parameter is used to provide the user feedback on the these partitions. The two parameters are engaged in a "relabeling and voting" based consensus function to produce the final clustering.

연구 동기 및 목표

• 공동 결정 단계에 제한된 지도 학습을 통합하여 클러스터링 앙상블 성능을 향상시키는 것.
• 복잡하거나 모호한 데이터 구조를 다루는 데에 한계가 있는 순수하게 비지도 클러스터링 앙상블의 문제를 해결하는 것.
• 사용자가 피드백과 제약 조건을 제공하여 최종 클러스터링 결과를 이끌 수 있도록 하는 유연한 프레임워크를 개발하는 것.
• 알고리즘-데이터 적합도와 사용자 피드백을 기반으로 기저 클러스터링을 동적으로 가중치 조정하는 공통 결정 함수를 설계하는 것.
• 실제 데이터셋을 사용하여 준지도 통합의 효과성을 평가하는 것.

제안 방법

• 이 방법은 두 단계 과정을 사용한다: 다수의 알고리즘을 사용한 기저 클러스터링 앙상블 생성 후, 지도 학습이 통합된 공통 결정 함수 적용.
• 기저 클러스터링을 집계하면서 사용자 피드백을 통합하는 새로운 '재라벨링 및 투표' 공통 결정 함수를 제안한다.
• 두 가지 가중치 매개변수를 도입한다: 하나는 데이터와 클러스터링 알고리즘 간의 적합도를 측정하고, 다른 하나는 기저 분할에 대한 사용자 피드백을 반영한다.
• 공통 결정 함수는 이러한 가중치를 사용해 투표 기여도를 조정하여 최종 클러스터링 품질을 향상시킨다.
• 지시는 기저 클러스터링 단계가 아니라 공통 결정 단계에서 이루어지며, 제약 조건 통합의灵活性를 보장한다.
• 프레임워크는 피드백으로서 반드시 연결(Must-link) 및 연결 불가능(Cannot-link) 제약 조건을 모두 지원하며, 동적으로 클러스터 할당을 조정한다.

실험 결과

연구 질문

• RQ1 어떻게 준지도 제약 조건을 클러스터링 앙상블 프레임워크에 효과적으로 통합하여 정확도를 향상시킬 수 있는가?
• RQ2 앙상블 환경에서 사용자 제공 피드백이 최종 클러스터링 결과에 어떤 영향을 미치는가?
• RQ3 알고리즘-데이터 적합도가 클러스터링 앙상블의 성능에 어떤 영향을 미치는가?
• RQ4 왜곡 없는 이중 매개변수 가중치 기법이 공통 결정 함수의 강건성과 정확도를 향상시킬 수 있는가?
• RQ5 제안된 투표 기반 공통 결정 함수는 전통적인 비지도 앙상블 방법과 비교하여 어떻게 다른가?

주요 결과

• 제안된 준지도 학습 클러스터링 앙상블은 벤치마크 데이터셋에서 기존 비지도 앙상블에 비해 더 높은 클러스터링 정확도를 보였다.
• 이중 매개변수 가중치 기법을 통한 사용자 피드백 통합이 최종 클러스터링의 신뢰성과 품질을 크게 향상시켰다.
• 제한된 제약 조건이 존재하더라도 다양한 수준의 지도 학습에 대해 강건성을 유지하며 높은 성능을 보였다.
• 적합도 매개변수는 기저 클러스터링 중에서 데이터에 가장 관련성이 높은 것을 효과적으로 식별하여 공통 결정의 정교함을 높였다.
• 재라벨링 및 투표 기법은 기저 클러스터링 간의 갈등을 성공적으로 해결하여 더 일관된 최종 클러스터를 도출했다.
• 실증적 평가 결과, 제안된 프레임워크는 기준 방법 대비 더 높은 정규화 상호정보량(NMI) 및 조정된 랜드 지수(ARI) 점수를 달성했다.