[논문 리뷰] Multi-View Clustering via Semi-non-negative Tensor Factorization

Jing Li, Quanxue Gao외 3명|arXiv (Cornell University)|2023. 03. 29.

Tensor decomposition and applications인용 수 4

한 줄 요약

이 논문은 다중 시각 클러스터링을 위한 새로운 방법을 제안하며, 반비대칭 비음수 텐서 분해(Semi-NTF)를 기반으로 하여 다중 시각 데이터를 앵커 그래프의 3차 텐서로 모델링하고, 텐서 샤텐 p-노름 정규화를 통해 내부 시각 구조와 시각 간 상보적 정보를 모두 포착한다. 이 방법은 KKT 정류점으로의 수렴 보장을 갖추고 있으며, 최신 기준 성능을 달성한다.

ABSTRACT

Multi-view clustering (MVC) based on non-negative matrix factorization (NMF) and its variants have received a huge amount of attention in recent years due to their advantages in clustering interpretability. However, existing NMF-based multi-view clustering methods perform NMF on each view data respectively and ignore the impact of between-view. Thus, they can't well exploit the within-view spatial structure and between-view complementary information. To resolve this issue, we present semi-non-negative tensor factorization (Semi-NTF) and develop a novel multi-view clustering based on Semi-NTF with one-side orthogonal constraint. Our model directly performs Semi-NTF on the 3rd-order tensor which is composed of anchor graphs of views. Thus, our model directly considers the between-view relationship. Moreover, we use the tensor Schatten p-norm regularization as a rank approximation of the 3rd-order tensor which characterizes the cluster structure of multi-view data and exploits the between-view complementary information. In addition, we provide an optimization algorithm for the proposed method and prove mathematically that the algorithm always converges to the stationary KKT point. Extensive experiments on various benchmark datasets indicate that our proposed method is able to achieve satisfactory clustering performance.

연구 동기 및 목표

• 기존 NMF 기반 다중 시각 클러스터링 방법이 시각을 독립적으로 다루고 시각 간 관계를 忽略하는 한계를 해결하기 위해.
• 다중 시각 데이터의 공간 구조를 행렬로 축소하는 대신 3차 텐서로 모델링하여 유지하기 위해.
• 클러스터링 지표 행렬에 텐서 샤텐 p-노름 정규화를 적용하여 시각 간 상보적 정보를 활용하기 위해.
• KKT 정류점으로의 수렴 보장을 갖춘 이론적 기반의 최적화 알고리즘을 개발하기 위해.

제안 방법

• 계산 복잡도를 줄이기 위해 직접 교대 샘플링(DAS) 전략을 사용하여 각 시각에 대해 앵커 그래프를 구성한다.
• 모든 시각의 앵커 그래프를 조합하여 다중 시각 공간 구조를 유지하는 3차 텐서를 형성한다.
• 해결책의 유일성과 해석 가능성 향상을 위해 한쪽면의 직교 제약 조건을 적용한 반비대칭 비음수 텐서 분해(Semi-NTF)를 적용한다.
• 텐서 랭크를 근사하고 시각 간 클러스터 구조를 포착하기 위해 텐서 샤텐 p-노름 정규화를 도입한다.
• KKT 점으로의 수렴을 증명한 ADMM 기반 최적화 알고리즘을 개발한다.
• 클러스터 할당을 직접 모델링하기 위해 클러스터 지표 행렬을 텐서 분해의 입력으로 사용한다.

실험 결과

연구 질문

• RQ1 매트릭스 기반 접근 방식에 비해 텐서 기반 설정이 다중 시각 클러스터링에서 여러 시각 간 상호작용을 더 잘 포착할 수 있는가?
• RQ2 텐서 샤텐 p-노름이 클러스터 구조를 효과적으로 모델링하고 시각 간 상보적 정보를 활용하는 데 어떻게 기여하는가?
• RQ3 한쪽면의 직교 제약 조건을 갖춘 반비대칭 비음수 텐서 분해 모델이 클러스터링의 해석 가능성과 해결책의 유일성을 향상시키는가?
• RQ4 제안된 최적화 알고리즘이 정류점으로 수렴하는가? 그리고 제안된 설정 하에서 이 수렴이 보장되는가?
• RQ5 완전한 유사도 행렬 대신 앵커 그래프를 사용하면 성능 손실 없이 계산 비용을 크게 줄일 수 있는가?

주요 결과

• 제안된 방법은 다양한 벤치마크 데이터셋에서 기존 NMF 기반 다중 시각 클러스터링 방법을 능가하는 최신 기준 성능을 달성한다.
• 앵커 그래프의 사용은 전체 유사도 행렬 방법 대비 계산 복잡도를 크게 감소시켜 효율성을 향상시킨다.
• 텐서 샤텐 p-노름 정규화는 낮은 랭크 클러스터 구조를 효과적으로 포착하고, 시각 간 상보적 정보의 활용을 향상시킨다.
• 최적화 알고리즘이 KKT 정류점으로 수렴하며, 이는 수학적으로 증명되었으며 알고리즘의 안정성을 보장한다.
• 특히 고차원 및 다중 시각 환경에서 뛰어난 강건성과 클러스터링 정확도를 보여준다.