[論文レビュー] Multi-View Clustering via Semi-non-negative Tensor Factorization

Jing Li, Quanxue Gao+3 more|arXiv (Cornell University)|Mar 29, 2023

Tensor decomposition and applications被引用数 4

ひとこと要約

本稿は、半非負テンソル因子分解（Semi-NTF）に基づく新しいマルチビュークラスタリング手法を提案する。この手法は、マルチビュー・データをアンカーグラフの3次テンソルとしてモデル化し、テンソルシュタイン p-ノルム正則化を用いて、ビュー内構造とビュー間の補完的情報を両方とも捉える。この手法は、KKT停留点への収束が保証され、最先端のクラスタリング性能を達成する。

ABSTRACT

Multi-view clustering (MVC) based on non-negative matrix factorization (NMF) and its variants have received a huge amount of attention in recent years due to their advantages in clustering interpretability. However, existing NMF-based multi-view clustering methods perform NMF on each view data respectively and ignore the impact of between-view. Thus, they can't well exploit the within-view spatial structure and between-view complementary information. To resolve this issue, we present semi-non-negative tensor factorization (Semi-NTF) and develop a novel multi-view clustering based on Semi-NTF with one-side orthogonal constraint. Our model directly performs Semi-NTF on the 3rd-order tensor which is composed of anchor graphs of views. Thus, our model directly considers the between-view relationship. Moreover, we use the tensor Schatten p-norm regularization as a rank approximation of the 3rd-order tensor which characterizes the cluster structure of multi-view data and exploits the between-view complementary information. In addition, we provide an optimization algorithm for the proposed method and prove mathematically that the algorithm always converges to the stationary KKT point. Extensive experiments on various benchmark datasets indicate that our proposed method is able to achieve satisfactory clustering performance.

研究の動機と目的

• 既存のNMFベースのマルチビュークラスタリング手法が各ビューを独立に扱い、ビュー間の関係性を無視するという限界を是正すること。
• マルチビュー・データの空間的構造を、行列に低次元化するのではなく、3次テンソルとしてモデル化することにより保持すること。
• クラスタリング指標行列にテンソルシュタイン p-ノルム正則化を適用することで、ビュー間の補完的情報を活用すること。
• KKT停留点への理論的収束保証を持つ最適化アルゴリズムを開発すること。

提案手法

• 計算複雑度を低減するために、直接的交互サンプリング（DAS）戦略を用いて各ビューのアンカーグラフを構築する。
• すべてのビューのアンカーグラフを組み合わせて3次テンソルを構成し、マルチビューの空間的構造を保持する。
• 解の一意性を強化し、解釈性を向上させるために、片側直交制約を導入した半非負テンソル因子分解（Semi-NTF）を適用する。
• テンソルランクを近似し、ビュー間でクラスタ構造を捉えるために、テンソルシュタイン p-ノルム正則化を導入する。
• KKT点への収束を数学的に証明した、ADMMに基づく最適化アルゴリズムを開発する。
• クラスタリング指標行列をテンソル因子分解の入力として使用し、クラスタ割り当てを直接モデル化する。

実験結果

リサーチクエスチョン

• RQ1 行列ベースの手法と比較して、テンソルベースの定式化はマルチビュークラスタリングにおける複数ビュー間の相互作用をより効果的に捉えられるか？
• RQ2 テンソルシュタイン p-ノルムは、クラスタ構造を効果的にモデル化し、ビュー間の補完的情報を活用できるか？
• RQ3 片側直交制約を備えた半非負テンソル因子分解モデルは、クラスタリングの解釈性と解の一意性を向上させられるか？
• RQ4 提案された最適化アルゴリズムは停留点に収束するか？また、提案された定式化のもとで収束が保証されるか？
• RQ5 完全な類似度行列の代わりにアンカーグラフを用いることで、計算コストを著しく削減できるか？ その際、クラスタリング性能に悪影響を及げないか？

主な発見

• 提案手法は、複数のベンチマークデータセットで最先端のクラスタリング性能を達成し、既存のNMFベースのマルチビュークラスタリング手法を上回る。
• アンカーグラフの使用により、完全な類似度行列法と比較して計算複雑度が顕著に低減され、効率性が向上する。
• テンソルシュタイン p-ノルム正則化は、低ランククラスタ構造を効果的に捉え、ビュー間の補完的情報を強化する。
• 最適化アルゴリズムは、数学的に証明されたようにKKT停留点に収束し、アルゴリズムの安定性が保証される。
• 提案手法は、特に高次元およびマルチビュー設定において、優れたロバストネスとクラスタリング精度を示す。