[論文レビュー] Multi-view Clustering via Deep Matrix Factorization and Partition Alignment

Chen Zhang, Siwei Wang+6 more|arXiv (Cornell University)|May 1, 2021

Face and Expression Recognition参考文献 37被引用数 5

ひとこと要約

本稿では、深層行列分解とパーティションアライメントを組み合わせることで、視点固有の表現と一貫性のあるクラスタリングパーティションを共同で学習する、MVC-DMF-PAと呼ばれる新しいマルチビュークラスタリング手法を提案する。最適な順列による深層半ノルム行列分解（semi-NMF）とパーティションアライメントの交互最適化により、6つのベンチマークデータセットで最先端の性能を達成し、収束が早く、ハイパーパramータに対して頑健である。

ABSTRACT

Multi-view clustering (MVC) has been extensively studied to collect multiple source information in recent years. One typical type of MVC methods is based on matrix factorization to effectively perform dimension reduction and clustering. However, the existing approaches can be further improved with following considerations: i) The current one-layer matrix factorization framework cannot fully exploit the useful data representations. ii) Most algorithms only focus on the shared information while ignore the view-specific structure leading to suboptimal solutions. iii) The partition level information has not been utilized in existing work. To solve the above issues, we propose a novel multi-view clustering algorithm via deep matrix decomposition and partition alignment. To be specific, the partition representations of each view are obtained through deep matrix decomposition, and then are jointly utilized with the optimal partition representation for fusing multi-view information. Finally, an alternating optimization algorithm is developed to solve the optimization problem with proven convergence. The comprehensive experimental results conducted on six benchmark multi-view datasets clearly demonstrates the effectiveness of the proposed algorithm against the SOTA methods.

研究の動機と目的

• 既存のマルチビュークラスタリング手法における限界、特に階層的データ表現や視点固有の構造の活用不足に対処すること。
• 特徴レベルの統合に欠けがちなパーティションレベルの情報を統合することで、統合戦略の改善を図ること。
• 深層行列分解と一貫性のあるパーティション学習を共同で最適化することで、クラスタリング性能の向上を図ること。

提案手法

• 各視点に対して深層半ノルム行列分解（semi-NMF）を適用し、視点固有の構造と共有構造を捉える階層的かつ低次元の基本パーティション行列を学習する。
• クラスタ割り当ての最適な順列による変換を通じて、均等に重み付けされた基本パーティション行列とのアライメントを最大化することで、一貫性のあるパーティション行列を学習する。
• 反復的に深層行列分解と一貫性のあるパーティションを精緻化するための交互最適化アルゴリズムを設計し、収束を保証する。
• ベースパーティションの学習と一貫性行列の最適化を統合することで、1つのエンドツーエンドで学習可能なパイプラインとして、ラテント統合を実現する。
• 外れ値に対する耐性向上と局所的な幾何的構造の保持を目的として、$L_{21}$ノルムと多様体正則化を組み込む。
• 最適化の過程で視点固有の重みを動的に調整し、情報量の多い視点に重点を置くことで、クラスタリング精度を向上させる。

Figure 1: The illustration of our proposed MVC-DMF-PA. Multiple base partition matrix are obtained by deep semi-NMF firstly. Then a consensus partition matrix is learned by maximizing the alignment of this matrix with a uniformly weighted base partition matrix via optimal permutations. Finally, the

実験結果

リサーチクエスチョン

• RQ1 深層行列分解は、マルチビュー・データから階層的かつ特徴的な表現を効果的に抽出し、視点固有の構造を保持できるか？
• RQ2 複数の視点間でのパーティションレベルのアライメントは、従来の特徴レベル統合を上回る一貫性のあるクラスタリングをどのように改善するか？
• RQ3 交互最適化による深層分解とラテント統合の統合は、収束速度の向上とより優れたクラスタリング性能をもたらすか？
• RQ4 層の深さや隠れ次元のハイパーパramータの変更に対して、提案手法はどれほど感度を示すか？
• RQ5 提案フレームワークは、多様なベンチマークマルチビュー・データセットにおいて、最先端の手法を上回る性能を示せるか？

主な発見

• 提案手法MVC-DMF-PAは6つのベンチマークデータセットで最先端の性能を達成し、2番目に優れた手法と比較して、ACCで最大11.68%、NMIで15.55%、PURで3.47%の向上を達成した。
• アルゴリズムは急速に収束し、すべてのデータセットで20イテレーション以内に収束し、60イテレーションで安定化することが収束曲線から明らかになった。
• アブレーションスタディにより、3層の深さを持つネットワークが最良の性能を示し、BBCSportデータセットでは単層モデルと比較してACCが10.6%向上した。
• パラメータ感度分析から、$l_2 = 4k$および可変な$l_1$が最適であることが判明し、中間層の次元がクラスタリング品質に顕著な影響を及ぼすことが示された。
• 共通行列$\mathbf{H}$の可視化により、イテレーションを経るごとにクラスタ構造の明確さが段階的に向上していることが確認され、一貫性のあるパーティションの有効な学習が行われたことが裏付けられた。
• ハイパーパramータの変動に対して本手法は頑健であり、$l_1$および$l_2$の異なる設定下でも性能の著しい低下が見られなかった。

Figure 2: The proposed algorithm use t-SNE [ 38 ] on BBC and BBCSport when iterations are 1, 10 and 60, The different colors indicate different classes for each dataset.