[논문 리뷰] Multi-View Spectral Clustering with High-Order Optimal Neighborhood Laplacian Matrix

Weixuan Liang, Sihang Zhou외 6명|arXiv (Cornell University)|2020. 08. 31.

Face and Expression Recognition참고 문헌 36인용 수 9

한 줄 요약

이 논문은 첫 번째 차수 및 고차수 라플라시안 조합에 대한 비선형 이웃 검색을 통해 고차수 최적 이웃 라플라시안 행렬을 학습하여 클러스터링 성능을 향상시키는 새로운 다중 시각 스펙트럼 클러스터링 방법 ONMSC를 제안한다. 수렴하는 최적화 알고리즘을 통해 표현 능력을 향상시키고 계산 복잡도를 감소시켜, 아홉 개인 데이터셋과 MNIST에서 94.09% 정확도와 27.4초 실행시간을 기록하며 최신 기술 수준을 초월한다.

ABSTRACT

Multi-view spectral clustering can effectively reveal the intrinsic cluster structure among data by performing clustering on the learned optimal embedding across views. Though demonstrating promising performance in various applications, most of existing methods usually linearly combine a group of pre-specified first-order Laplacian matrices to construct the optimal Laplacian matrix, which may result in limited representation capability and insufficient information exploitation. Also, storing and implementing complex operations on the $n imes n$ Laplacian matrices incurs intensive storage and computation complexity. To address these issues, this paper first proposes a multi-view spectral clustering algorithm that learns a high-order optimal neighborhood Laplacian matrix, and then extends it to the late fusion version for accurate and efficient multi-view clustering. Specifically, our proposed algorithm generates the optimal Laplacian matrix by searching the neighborhood of the linear combination of both the first-order and high-order base Laplacian matrices simultaneously. By this way, the representative capacity of the learned optimal Laplacian matrix is enhanced, which is helpful to better utilize the hidden high-order connection information among data, leading to improved clustering performance. We design an efficient algorithm with proved convergence to solve the resultant optimization problem. Extensive experimental results on nine datasets demonstrate the superiority of our algorithm against state-of-the-art methods, which verifies the effectiveness and advantages of the proposed algorithm.

연구 동기 및 목표

• 기본 라플라시안 행렬의 선형 조합에 의존하는 기존 다중 시각 스펙트럼 클러스터링 방법의 표현 능력이 제한되어 있는 문제를 해결하기 위해.
• 데이터 샘플 간 숨겨진 고차수 이웃 관계를 활용하여 클러스터링 성능을 향상시키기 위해.
• 다중 시각 클러스터링에서 전체 $n \times n$ 라플라시안 행렬과 관련된 저장 및 계산 복잡도를 줄이기 위해.
• 대규모 데이터셋에서 높은 클러스터링 정확도를 유지하면서 효율적이고 확장 가능한 알고리즘을 개발하기 위해.
• 더 이상 복잡도를 줄이면서 성능을 유지하는 후기 융합 버전으로 프레임워크를 확장하기 위해.

제안 방법

• 첫 번째 차수 및 고차수 기본 라플라시안 행렬의 조합 주변에서 비선형 이웃 검색을 통해 고차수 최적 이웃 라플라시안 행렬을 제안한다.
• 선형 조합을 초월하는 타당 영역을 확장하여 표현 능력을 향상시키는 비선형 최적화 프레임워크를 도입한다.
• 결과 최적화 문제를 효율적으로 해결하기 위해 수렴성이 입증된 세 단계 알고리즘을 설계한다.
• 시간과 공간 복잡도를 감소시키기 위해 앵커 포인트를 사용한 Nyström 방법을 적용하여 대규모 클러스터 지시 행렬을 근사한다.
• 뷰별 처리와 공통 학습을 분리하여 저장 및 계산 복잡도를 최소화하는 후기 융합 변형(ONMSC-LF)을 개발한다.
• 뷰별 임bedding과 최종 클러스터링 구조를 함께 최적화하기 위해 공통 행렬 $\mathbf{H}^*$를 사용한다.

실험 결과

연구 질문

• RQ1 첫 번째 차수 및 고차수 라플라시안 조합에 대한 비선형 이웃 검색이 최적 라플라시안 행렬의 표현 능력을 향상시킬 수 있는가?
• RQ2 고차수 유사도 정보를 통합하면 첫 번째 차수 방법보다 더 나은 클러스터링 성능을 달성할 수 있는가?
• RQ3 제안된 방법이 대규모 데이터셋에서 낮은 계산 및 저장 복잡도를 유지하면서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 후기 융합 버전은 초기 융합 대비 효율성과 정확도 측면에서 어떻게 비교되는가?
• RQ5 대규모 설정에서 Nyström 근사에 적합한 앵커 포인트의 최적 수는 얼마인가?

주요 결과

• 제안된 ONMSC 방법은 MNIST 데이터셋에서 94.09% 정확도, 89.9% NMI, 94.09% 순도를 기록하여 최신 기술 수준을 초월한다.
• 알고리즘은 30회 이터레이션 내에 수렴하며, 목적 함수가 단조롭게 증가함으로써 안정적인 최적화를 보여준다.
• Nyström 근사에서 앵커 포인트 수가 50개에 도달할 무렵 성능이 포화 상태에 도달하여, 높은 정확도를 달성하기 위해 소수의 앵커만으로도 충분함을 보여준다.
• 후기 융합 버전은 MNIST에서 런타임을 27.4초로 줄여, RMKMC(2935.4초)와 LMVSC(69.4초)와 비교해 뚜렷한 성능 우위를 보였다.
• 알고리즘이 학습한 공통 행렬 $\mathbf{H}^*$는 결과 시각화를 통해 내재된 클러스터링 구조를 효과적으로 포착하고 있음을 확인할 수 있다.
• 아홉 개인 데이터셋에서의 광범위한 실험을 통해 ONMSC가 기존 최신 기술 수준의 다중 시각 클러스터링 방법보다 뛰어난 성능을 보임을 확인했다.