[論文レビュー] Multi-View Multiple Clusterings using Deep Matrix Factorization

Shaowei Wei, Jun Wang+3 more|arXiv (Cornell University)|Nov 26, 2019

Face and Expression Recognition参考文献 36被引用数 8

ひとこと要約

本稿では、複数の多様で高品質なクラスタリングを、階層的にデータ行列を因子分解しながら、バランスの取れた再冗長性評価項によって多様性を強制することで、マルチビュー・データから発見するためのディープ行列因子分解フレームワーク、DMClustsを提案する。実験の結果、ベンチマークデータセットにおいて、クラスタリングの質と多様性の両面で最先端の手法を上回ることが示された。

ABSTRACT

Multi-view clustering aims at integrating complementary information from multiple heterogeneous views to improve clustering results. Existing multi-view clustering solutions can only output a single clustering of the data. Due to their multiplicity, multi-view data, can have different groupings that are reasonable and interesting from different perspectives. However, how to find multiple, meaningful, and diverse clustering results from multi-view data is still a rarely studied and challenging topic in multi-view clustering and multiple clusterings. In this paper, we introduce a deep matrix factorization based solution (DMClusts) to discover multiple clusterings. DMClusts gradually factorizes multi-view data matrices into representational subspaces layer-by-layer and generates one clustering in each layer. To enforce the diversity between generated clusterings, it minimizes a new redundancy quantification term derived from the proximity between samples in these subspaces. We further introduce an iterative optimization procedure to simultaneously seek multiple clusterings with quality and diversity. Experimental results on benchmark datasets confirm that DMClusts outperforms state-of-the-art multiple clustering solutions.

研究の動機と目的

• 既存のマルチビュー・クラスタリング手法が単一のクラスタリングに焦点を当てているのに対し、マルチビュー・データから複数の意味的で多様なクラスタリングを発見するという課題に対処すること。
• 複雑で異種の複数のビュー間で、コンSENSUSと補完的情報を効果的に統合する一方で、ノイズが多いか低品質なビューに対してもロバストである方法を開発すること。
• 複数のクラスタリング間の多様性を、同じサンプルが複数のクラスタリングで一緒にグループ化される場合と、別々にグループ化される場合の両方を統合的に測定することで強制すること。
• 類似度行列の因子分解に伴う計算負荷を回避する効率的でスケーラブルなソリューションを設計すること。

提案手法

• DMClustsは、階層的にマルチビュー・データ行列を代表的サブスペースに逐次分解することで、各層ごとに1つのクラスタリングを生成するディープ行列因子分解を採用する。
• 2つのサンプルが複数のクラスタリングで一緒にグループ化される場合と、別々にグループ化される場合の両方を統合的に測定する、新規のバランスの取れた再冗長性評価項を導入し、包括的な多様性を促進する。
• 複数の高品質で低再冗長性のクラスタリングを同時に学習するための反復的最適化手順を用い、多様性とクラスタリング性能のトレードオフをバランスさせる。
• 学習可能なパラメータ $ r $ を用いて各ビューに異なる重みを割り当て、不要またはノイズの多いビューを低減し、ロバスト性を向上させる。
• クラスタリングの質（行列因子分解によるもの）と多様性（再冗長性制御によるもの）のトレードオフを調整するためのハイパーパrameter $ \lambda $ を統合する。
• 再構成誤差と再冗長性の両方を最小化する目的関数を用いて、反復的最適化によりエンドツーエンドでモデルを訓練し、収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 ディープ行列因子分解フレームワークは、マルチビュー・データから複数の多様で高品質なクラスタリングを効果的に生成できるか？
• RQ2 複数のクラスタリング間の再冗長性を、サンプルの共起と分離の両パターンを捉える形でどのように評価できるか？
• RQ3 同じクラスタリング内と異なるクラスタリング内でのグループ化を両方考慮する本手法のバランスの取れた再冗長性項は、従来の手法よりも優れた多様性を達成できるか？
• RQ4 クラスタリングの質と多様性の両面において、最先端の複数クラスタリングおよびマルチビュー・クラスタリング手法と比較して、本手法の性能はどの程度か？
• RQ5 学習可能なパラメータ $ r $ を用いて、ノイズが多いか低品質なビューに低い重みを割り当てることで、本フレームワークはそれらを効果的に処理できるか？

主な発見

• DMClustsは、ベンチマークデータセットにおいて、クラスタリングの質（Davies-Bouldin Index）と多様性（1-NMI）の両面で、最先端の複数クラスタリング手法を顕著に上回り、優れた有効性を示した。
• 特に $ \beta \in [0.3, 0.7] $ の範囲で、バランスの取れた再冗長性評価項は、極端な値（$ \beta = 0 $ や $ \beta = 1 $）よりも高い多様性（NMI ≈ 0.064）を達成し、補完的再冗長性パターンを効果的に捉えていることを実証した。
• ハイパーパrameter $ \lambda $ は、質と多様性のトレードオフを制御する：$ \lambda $ を大きくすると多様性は向上するが、クラスタリングの質は低下する。これは、本質的なジレンマとこのハイパーパラメータの必要性を確認するものである。
• 中程度の $ r $ 値（例：$ r > 0.05 $）では、ビュー固有の重み割り当てにより多様性が向上する一方、極めて小さな $ r $ 値では等しい重みが割り当てられ、多様性が低下する。このため、性能は安定している。
• DMClustsは、効率性と性能の良いバランスを達成しており、中程度の実行時間でスケーラビリティに優れ、類似度行列ベースの手法と比較して大規模データセットに適している。
• アブレーションスタディの結果、同じクラスタリング内と異なるクラスタリング内での再冗長性の両方を考慮する本手法の再冗長性項が、ベースラインと比較してクラスタリングの多様性を顕著に向上させていることが確認された。