[논문 리뷰] Efficient Multi-view Clustering via Unified and Discrete Bipartite Graph Learning

Si-Guo Fang, Dong Huang외 4명|arXiv (Cornell University)|2022. 09. 09.

Advanced Computing and Algorithms인용 수 6

한 줄 요약

이 논문은 앵커 기반의 부분공간 학습과 라플라시안 랭크 제약을 통해 시각별 및 시각 공통의 이분 그래프 학습을 통합함으로써 선형 시간 복잡도를 달성하고 후처리 없이 직접 이산 클러스터링을 가능하게 하는 효율적인 다중 시각 클러스터링 방법 UDBGL을 제안한다. 이 방법은 다양한 데이터셋에서 최신 기술 수준의 클러스터링 성능를 달성하면서도 특히 대규모 데이터에서 높은 효율성을 유지한다.

ABSTRACT

Although previous graph-based multi-view clustering algorithms have gained significant progress, most of them are still faced with three limitations. First, they often suffer from high computational complexity, which restricts their applications in large-scale scenarios. Second, they usually perform graph learning either at the single-view level or at the view-consensus level, but often neglect the possibility of the joint learning of single-view and consensus graphs. Third, many of them rely on the k-means for discretization of the spectral embeddings, which lack the ability to directly learn the graph with discrete cluster structure. In light of this, this paper presents an efficient multi-view clustering approach via unified and discrete bipartite graph learning (UDBGL). Specifically, the anchor-based subspace learning is incorporated to learn the view-specific bipartite graphs from multiple views, upon which the bipartite graph fusion is leveraged to learn a view-consensus bipartite graph with adaptive weight learning. Further, the Laplacian rank constraint is imposed to ensure that the fused bipartite graph has discrete cluster structures (with a specific number of connected components). By simultaneously formulating the view-specific bipartite graph learning, the view-consensus bipartite graph learning, and the discrete cluster structure learning into a unified objective function, an efficient minimization algorithm is then designed to tackle this optimization problem and directly achieve a discrete clustering solution without requiring additional partitioning, which notably has linear time complexity in data size. Experiments on a variety of multi-view datasets demonstrate the robustness and efficiency of our UDBGL approach. The code is available at https://github.com/huangdonghere/UDBGL.

연구 동기 및 목표

• 기존의 그래프 기반 다중 시각 클러스터링 방법의 높은 계산 복잡도, 특히 전체 인접 행렬의 O(n²) 비용을 해결한다.
• 단일 시각 또는 공통 수준의 그래프 학습의 한계를 극복하기 위해 시각별 및 시각 공통의 이분 그래프를 함께 최적화한다.
• 라플라시안 랭크 제약을 통해 직접 이산 클러스터링 구조를 학습함으로써 k-means 후처리가 필요 없도록 한다.
• 데이터 크기에 대해 선형 시간 복잡도를 달성하여 대규모 다중 시각 클러스터링 응용을 지원한다.
• 시각별 그래프 학습, 공통 그래프 학습, 이산 클러스터링 구조 학습을 동시에 수행하는 통합 최적화 프레임워크를 개발한다.

제안 방법

• 다양한 시각에서 시각별 이분 그래프를 구성하기 위해 앵커 기반 부분공간 학습을 활용하여 계산 비용을 감소시킨다.
• 적응형 가중치 학습을 사용해 시각별 이분 그래프를 융합하여 공통된 구조를 반영하는 시각 공통 이분 그래프를 형성한다.
• 융합된 그래프에 라플라시안 랭크 제약을 적용하여 정확히 c개의 연결 성분을 가지는 이산 클러스터링 구조를 강제한다.
• 시각별 학습, 공통 학습, 이산 구조 학습의 공동 최적화를 단일 목적 함수로 제안한다.
• 통합 최적화 문제를 효율적으로 해결하기 위해 교대 최소화 알고리즘을 설계하여 데이터 크기에 대해 선형 시간 복잡도를 달성한다.
• 최종 융합된 그래프를 직접 이산 클러스터링 해답으로 사용하여 k-means와 같은 추가 분할 단계를 회피한다.

실험 결과

연구 질문

• RQ1 시각별 및 시각 공통의 이분 그래프를 함께 학습하는 것이 별도 또는 단일 수준의 학습보다 클러스터링 성능을 향상시키는가?
• RQ2 융합된 그래프에 라플라시안 랭크 제약을 적용함으로써 후처리 없이 직접 이산 클러스터링을 수행할 수 있는가?
• RQ3 제안된 방법이 높은 클러스터링 정확도를 유지하면서도 데이터 크기에 대해 선형 시간 복잡도를 달성할 수 있는가?
• RQ4 두 단계 또는 히وري스틱 연결 방법에 비해 통합 공식화 방식은 강건성과 성능 측면에서 어떻게 비교되는가?
• RQ5 대규모 다중 시각 데이터셋에서 제안된 방법의 수렴 동작과 확장성은 어떠한가?

주요 결과

• UDBGL은 WebKB-Texas, CIFAR-100, VGGFace를 포함한 10개의 다양한 다중 시각 데이터셋에서 최신 기술 수준의 클러스터링 성능를 달성하며 기존 방법들에 비해 일관된 향상을 보였다.
• 모든 벤치마크 데이터셋에서 목적 함수 감소 곡선을 통해 UDBGL이 일반적으로 20회 이내에 빠르게 수렴하는 것으로 확인되었다.
• 절단 연구 결과 통합 공식화가 두 단계 또는 시각별 전용 변형보다 우수하며 다양한 데이터셋에서 더 높은 강건성을 보임을 확인하였다.
• 실행 시간 결과에 따르면 UDBGL은 최대 60,000개의 샘플을 포함한 대규모 데이터셋에서도 계산 가능했으며, 일부 기준 방법들은 메모리 제약으로 실패하였다.
• 앵커 수를 클러스터 수(c)로 설정할 경우 대부분의 데이터셋에서 우수한 성능를 보였으며, 이는 효과적인 구조 탐색을 의미한다.
• MSGL 및 FPMVS-CAG와 같은 다른 최신 기술 수준의 이분 그래프 기반 방법들과 비교해도 경쟁적인 효율성을 유지하였다.