[논문 리뷰] Multiple Partitions Aligned Clustering

Zhao Kang, Zipeng Guo외 5명|arXiv (Cornell University)|2019. 09. 13.

Advanced Clustering Algorithms Research참고 문헌 20인용 수 15

한 줄 요약

이 논문은 다중 시각 클러스터링을 위한 새로운 방법인 다중 파art리션 일치 클러스터링(mPAC)을 제안한다. 이 방법은 회전 행렬과 적응형 시각 가중치를 사용하여 통합된 공통 공간에서 개별 시각의 파art리션을 일치시킴으로써 정보를 통합한다. 기존의 특징 공간에서 데이터를 융합하는 방법과 달리, mPAC는 직접적으로 파art리션 공간에서 작동하여 그래프 학습, 스펙트럼 임bedding, 공통 클러스터링을 하나의 종단 간(end-to-end) 프레임워크에서 공동 최적화할 수 있으며, 기준 데이터셋에서 기존 방법보다 뚜렷한 향상으로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Multi-view clustering is an important yet challenging task due to the difficulty of integrating the information from multiple representations. Most existing multi-view clustering methods explore the heterogeneous information in the space where the data points lie. Such common practice may cause significant information loss because of unavoidable noise or inconsistency among views. Since different views admit the same cluster structure, the natural space should be all partitions. Orthogonal to existing techniques, in this paper, we propose to leverage the multi-view information by fusing partitions. Specifically, we align each partition to form a consensus cluster indicator matrix through a distinct rotation matrix. Moreover, a weight is assigned for each view to account for the clustering capacity differences of views. Finally, the basic partitions, weights, and consensus clustering are jointly learned in a unified framework. We demonstrate the effectiveness of our approach on several real datasets, where significant improvement is found over other state-of-the-art multi-view clustering methods.

연구 동기 및 목표

• 노이즈와 시각 간 일관성 부족이 존재하는 상황에서 다중 시각 데이터를 통합하는 데 도전한다.
• 기존의 특징 공간에서 정보를 융합하는 다중 시각 클러스터링 방법의 한계를 극복한다. 이러한 방법은 노이즈로 인한 정보 손실의 영향을 받을 수 있다.
• 각 시각의 파art리션, 공통 클러스터링, 정렬 변환을 공동으로 학습하는 통합형 종단 간 프레임워크를 개발한다.
• 공통 클러스터링의 공통된 구조가 더 안정적이고 시각 특화된 노이즈의 영향을 덜 받는 파art리션 공간에서 작동함으로써 클러스터링의 강건성과 성능을 향상시킨다.
• 공동 학습 과정에서 각 시각의 클러스터링 능력의 다양성을 반영하기 위해 각 시각에 대해 적응형 가중치를 할당한다.

제안 방법

• 각 시각의 클러스터링 파art리션을 이산 지표 행렬로 모델링하고, 각 시각마다 별도의 회전 행렬을 사용하여 공통 공통 클러스터링 행렬로 정렬한다.
• 공동 최적화를 위해 공통 클러스터링 행렬, 시각별 회전 행렬, 시각 가중치를 통합된 목적 함수를 사용하여 동시에 최적화하며, 파art리션 정렬과 공통성을 장려한다.
• 그래프 구축과 스펙트럼 임베딩을 프레임워크에 통합하여, 공통 클러스터링이 반복적으로 그래프 학습을 이끌 수 있도록 한다.
• 각 시각에 대해 회전 행렬을 적용하여 개별 파art리션을 공통 공간으로 변환함으로써 이질적인 클러스터 구조의 민감한 정렬을 가능하게 한다.
• 각 시각의 신뢰성 또는 클러스터링 능력을 반영하기 위해 적응형 시각 가중치를 학습함으로써 노이즈가 많거나 약한 시각에 대한 강건성을 향상시킨다.
• 공통 클러스터링, 회전 행렬, 시각 가중치를 반복적으로 갱신하는 반복 최적화 전략을 사용하여 전체 프레임워크를 종단 간으로 훈련한다.

실험 결과

연구 질문

• RQ1 공통 공통 공간에서 다중 시각의 파art리션을 일치시키는 것이 특징 공간 융합에 비해 클러스터링 성능 향상에 기여하는가?
• RQ2 기존의 특징 공간 방법과 비교해 파art리션 공간에서 작동할 경우 노이즈와 시각 간 불일치에 대한 민감도가 감소하는가?
• RQ3 그래프 학습, 스펙트럼 임베딩, 공통 클러스터링을 공동 최적화하는 통합형 종단 간 프레임워크가 이중 또는 다중 단계 접근 방식을 초월하는가?
• RQ4 시각별로 고유한 회전 행렬과 적응형 가중치를 사용하는 것이 다양한 클러스터 구조를 효과적으로 정렬하는 데 얼마나 유용한가?
• RQ5 제안된 방법은 하이퍼파rameter 변화에 강건하며, 다양한 데이터셋에서 안정적인 성능을 달성할 수 있는가?

주요 결과

• mPAC는 Caltech7, Caltech20, Handwritten Numerals 포함 4개의 기준 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 기존의 다중 시각 클러스터링 방법보다 F-score, NMI, ARI 지표에서 뛰어난 성능을 보였다.
• Caltech20 데이터셋에서 mPAC는 F-score 0.7473을 기록하여 두 번째로 좋은 성능을 낸 AMGL(0.7404)을 뛰어넘었으며, k-means와 NMF 기반 방법들보다도 뚜렷한 우월성을 보였다.
• Handwritten Numerals 데이터셋에서 mPAC는 F-score 0.7473, 정밀도 0.7348, 재현도 0.7200을 기록하여 뛰어난 클러스터링 품질을 입증했다.
• 특히 γ 값 증가에 따라 성능이 안정적으로 유지됨을 확인하여 하이퍼파rameter 변화에 대한 강건성을 보였다.
• t-SNE를 활용한 시각화 결과, 개별 시각의 파art리션 성능이 열등하더라도 mPAC는 일관되고 잘 분리된 클러스터를 생성함을 확인하여 파art리션 공간에서의 신뢰성을 입증했다.
• 제거 실험(ablation study) 결과, 파art리션 정렬이 핵심 요소임을 확인하였으며, 정렬이 제거되거나 적절히 최적화되지 않으면 성능이 뚜렷이 저하됨을 확인했다.