[논문 리뷰] Adaptively-weighted Integral Space for Fast Multiview Clustering

Man-Sheng Chen, Tuo Liu외 3명|arXiv (Cornell University)|2022. 08. 25.

Advanced Clustering Algorithms Research인용 수 5

한 줄 요약

이 논문은 거의 선형 시간 복잡도를 가진 새로운 다중 시각 클러스터링 방법인 AIMC를 제안한다. 이 방법은 공유 클러스터 구조와 시각별 표현을 동시에 학습하기 위해 적응형 가중치를 부여한 잠재 통합 공간을 모델링한다. 적응형 신뢰도 가중치를 갖는 시각 생성 모델과 직교 중심점 학습을 통해, 이전 방법들에 비해 계산 비용을 크게 줄이고 대규모 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Multiview clustering has been extensively studied to take advantage of multi-source information to improve the clustering performance. In general, most of the existing works typically compute an n * n affinity graph by some similarity/distance metrics (e.g. the Euclidean distance) or learned representations, and explore the pairwise correlations across views. But unfortunately, a quadratic or even cubic complexity is often needed, bringing about difficulty in clustering largescale datasets. Some efforts have been made recently to capture data distribution in multiple views by selecting view-wise anchor representations with k-means, or by direct matrix factorization on the original observations. Despite the significant success, few of them have considered the view-insufficiency issue, implicitly holding the assumption that each individual view is sufficient to recover the cluster structure. Moreover, the latent integral space as well as the shared cluster structure from multiple insufficient views is not able to be simultaneously discovered. In view of this, we propose an Adaptively-weighted Integral Space for Fast Multiview Clustering (AIMC) with nearly linear complexity. Specifically, view generation models are designed to reconstruct the view observations from the latent integral space with diverse adaptive contributions. Meanwhile, a centroid representation with orthogonality constraint and cluster partition are seamlessly constructed to approximate the latent integral space. An alternate minimizing algorithm is developed to solve the optimization problem, which is proved to have linear time complexity w.r.t. the sample size. Extensive experiments conducted on several realworld datasets confirm the superiority of the proposed AIMC method compared with the state-of-the-art methods.

연구 동기 및 목표

• n × n 유사도 그래프에 의존하는 기존 다중 시각 클러스터링 방법의 높은 계산 복잡도 문제를 해결하기 위해.
• 여러 개의 부족한 시각들로부터 잠재 통합 공간과 공유 클러스터 구조를 동시에 발견하여 시각 부족 문제를 해결하기 위해.
• 대규모 다중 시각 데이터 클러스터링에 적합한 거의 선형 시간 복잡도를 갖는 방법을 개발하기 위해.
• 시각별 복원과 클러스터 분할 학습을 통합 최적화 프레임워크에 통합하기 위해.

제안 방법

• 각 시각의 신뢰도 가중치를 갖는 공유 클러스터 구조를 다중 시각 간에 모델링하는 적응형 가중치를 갖는 잠재 통합 공간을 제안한다.
• 잠재 통합 공간에서 관측된 시각을 복원하기 위한 시각 생성 모델을 설계하여, 시각과 통합 공간 간의 이중 방향 매핑을 가능하게 한다.
• 클러스터 분할 학습과 함께 직교 중심점 표현을 도입하여 잠재 통합 공간을 근사한다.
• 복원 오차와 왜곡 오차를 동시에 최소화하는 교차 최적화 알고리즘을 개발하였으며, 이는 샘플 수에 대해 선형 시간 복잡도를 보임을 증명하였다.
• 각 시각이 잠재 공간을 복원하는 데 있어 신뢰도를 반영하기 위해 적응형 신뢰도 가중치를 사용한다.
• 데이터 복원과 클러스터링 손실을 통합한 유일한 목적 함수를 활용하여 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 여러 개의 부족한 시각들 간의 공유 클러스터 구조를 효과적으로 표현할 수 있는 잠재 통합 공간을 학습할 수 있는가?
• RQ2 다중 시각 클러스터링의 계산 복잡도를 거의 선형 시간으로 줄일 수 있으며, 높은 성능을 유지할 수 있는가?
• RQ3 시각별 표현과 공유 클러스터 구조를 통합된 프레임워크에서 동시에 최적화할 수 있는가?
• RQ4 시각의 품질이나 정보량이 다를 경우, 적응형 신뢰도 가중치가 클러스터링의 강건성을 향상시킬 수 있는가?

주요 결과

• AIMC는 9개의 실세계 데이터셋에서 NMI와 ACC 측면에서 비교된 모든 방법들 중 최고의 클러스터링 성능를 달성하였다.
• 평균적으로 계산 시간에서 두 번째로 빠르며, 가장 큰 데이터셋(YTF-100)에서는 가장 낮은 런타임을 기록하여 뛰어난 확장성을 보였다.
• YTF-100 데이터셋에서 두 번째로 우수한 방법에 비해 NMI에서 10.34% 향상된 성능을 기록하여 대규모 데이터에서 뛰어난 성능을 입증하였다.
• 파라미터 분석 결과, 시각 생성 모델의 차원이 다양한 경우에도 안정적인 성능를 보였으며, 합리적인 범위 내에서 최적 성능를 달성할 수 있었다.
• 수렴 분석을 통해 목적 함수 값이 단조롭게 감소하고 10회 이내에 최소값에 도달함을 확인하여 빠른 수렴을 입증하였다.