[논문 리뷰] Fast Multi-view Clustering via Ensembles: Towards Scalability, Superiority, and Simplicity

Dong Huang, Chang‐Dong Wang외 1명|arXiv (Cornell University)|2022. 03. 22.

Advanced Clustering Algorithms Research인용 수 14

한 줄 요약

이 논문은 랜덤 뷰 그룹과 하이브리드 이르기-늦기 융합 전략을 사용하여 데이터셋에 특화된 하이퍼파rameter 조정 없이 효율적이고 선형 복잡도의 클러스터링을 가능하게 하는 확장성 있고 고성능의 다중 뷰 클러스터링 방법인 FastMICES를 제안한다. 이는 YTF-400(398K개 샘플 포함)와 같은 초대규모 데이터셋을 포함한 22개의 데이터셋에서 최신 기준 성능을 달성하며, 거의 선형 시간 및 공간 복잡도를 유지한다.

ABSTRACT

Despite significant progress, there remain three limitations to the previous multi-view clustering algorithms. First, they often suffer from high computational complexity, restricting their feasibility for large-scale datasets. Second, they typically fuse multi-view information via one-stage fusion, neglecting the possibilities in multi-stage fusions. Third, dataset-specific hyperparameter-tuning is frequently required, further undermining their practicability. In light of this, we propose a fast multi-view clustering via ensembles (FastMICE) approach. Particularly, the concept of random view groups is presented to capture the versatile view-wise relationships, through which the hybrid early-late fusion strategy is designed to enable efficient multi-stage fusions. With multiple views extended to many view groups, three levels of diversity (w.r.t. features, anchors, and neighbors, respectively) are jointly leveraged for constructing the view-sharing bipartite graphs in the early-stage fusion. Then, a set of diversified base clusterings for different view groups are obtained via fast graph partitioning, which are further formulated into a unified bipartite graph for final clustering in the late-stage fusion. Notably, FastMICE has almost linear time and space complexity, and is free of dataset-specific tuning. Experiments on 22 multi-view datasets demonstrate its advantages in scalability (for extremely large datasets), superiority (in clustering performance), and simplicity (to be applied) over the state-of-the-art. Code available: https://github.com/huangdonghere/FastMICE.

연구 동기 및 목표

• 스펙트럴 클러스터링과 유사도 행렬 구축에서 발생하는 O(N³) 복잡도 장애로 인해 기존 다중 뷰 클러스터링(MVC) 알고리즘의 확장성에 한계가 있음.
• 단일 단계 융합(이르기 또는 늦기)의 한계를 극복하기 위해 다단계 정보 융합을 가능하게 하는 하이브리드 이르기-늦기 융합 전략을 제안함.
• 비지도 학습 환경에서 실용성을 해치는 데이터셋에 특화된 하이퍼파rameter 조정이 필요 없도록 제거함.
• 일般 규모 및 초대규모 다중 뷰 데이터셋 모두에서 뛰어난 클러스터링 성능를 달성하면서도 선형 시간 및 공간 복잡도를 유지함.

제안 방법

• 다양한 단계에서 다양한 뷰 간 관계를 탐색할 수 있도록 다수의 뷰를 탄력적으로 조직하기 위해 랜덤 뷰 그룹을 도입함.
• 각 랜덤 뷰 그룹 내에서 특징 수준, 앵커 수준, 이웃 수준의 세 가지 수준의 다양성을 활용하여 초기 융합 단계에서 견고한 뷰 공유 이분 그래프를 구축함.
• 뷰 공유 이분 그래프에서 빠른 그래프 분할을 수행하여 다양한 뷰 그룹에서 유도된 다각화된 기본 클러스터링을 생성함.
• 최종 클러스터링을 위해 다각화된 기본 클러스터링을 하나의 통합 이분 그래프로 구성함.
• 단일 단계의 이르기 및 늦기 융합을 특수 케이스로 일반화하는 하이브리드 이르기-늦기 융합 프레임워크를 설계함.
• 비용이 많이 드는 행렬 분해 및 반복 최적화를 피하여 거의 선형 시간 및 공간 복잡도를 확보함.

실험 결과

연구 질문

• RQ1 랜덤 뷰 그룹을 사용한 다단계 융합 전략이 단일 단계의 이르기 또는 늦기 융합을 초월하여 클러스터링 성능을 향상시킬 수 있는가?
• RQ2 제안된 하이브리드 이르기-늦기 융합 프레임워크는 대규모 데이터셋에서 확장성과 뛰어난 클러스터링 정확도를 동시에 달성할 수 있는가?
• RQ3 이 방법은 데이터셋에 특화된 하이퍼파rameter 조정 없이도 높은 성능을 달성할 수 있는가?
• RQ4 하나의 그룹에 모든 뷰를 사용하거나 한 뷰씩 그룹화하는 것과 비교해 복수의 랜덤 뷰 그룹을 사용할 경우 클러스터링 품질과 내구성 측면에서 어떻게 다른가?

주요 결과

• FastMICES는 22개의 다중 뷰 데이터셋에서 최신 기준 성능을 달성하여 클러스터링 정확도 및 정규화된 상호정보량 측면에서 기존 방법들을 능가함.
• 398,191개 샘플을 가진 YTF-400 데이터셋에서 FastMICES는 유일하게 타당한 시간 내에 클러스터링을 완료하였으며, 263.81초의 실행 시간을 기록함. 반면 LMVSC, SMVSC, FPMVS-CAG는 메모리 초과 또는 과도한 런타임으로 실패함.
• 랜덤 뷰 그룹의 사용은 단일 뷰 그룹 또는 모든 뷰를 하나의 그룹으로 묶는 기준 대비 대부분의 데이터셋에서 성능 향상을 크게 개선하여 다각화된 뷰 그룹화의 효과를 입증함.
• FastMICES는 거의 선형 시간 및 공간 복잡도를 확보하여 성능을 희생시키지 않고도 초대규모 데이터셋에 효과적으로 확장되는 MVC 방법로서의 첫 번째 사례임.
• 이 방법은 데이터셋에 특화된 하이퍼파rameter 조정이 전혀 필요 없어 실용성과 배포 용이성이 크게 향상됨.