[論文レビュー] Multiple Partitions Aligned Clustering

Zhao Kang, Zipeng Guo+5 more|arXiv (Cornell University)|Sep 13, 2019

Advanced Clustering Algorithms Research参考文献 20被引用数 15

ひとこと要約

本稿では、回転行列と適応的視覚重みを用いて一貫性のある共通空間に個々の視覚パーティションをアライメントすることで、情報を統合する、新しいマルチビュークラスタリング手法であるMultiple Partitions Aligned Clustering (mPAC)を提案する。従来の手法が特徴空間でデータを統合するのに対し、mPACはパーティション空間で直接作業することで、グラフ学習、スペクトル埋め込み、共通クラスタリングの共同最適化を1つのエンドツーエンドフレームワークで実現し、ベンチマークデータセットで最先端の性能を達成し、既存手法に顕著な改善を示した。

ABSTRACT

Multi-view clustering is an important yet challenging task due to the difficulty of integrating the information from multiple representations. Most existing multi-view clustering methods explore the heterogeneous information in the space where the data points lie. Such common practice may cause significant information loss because of unavoidable noise or inconsistency among views. Since different views admit the same cluster structure, the natural space should be all partitions. Orthogonal to existing techniques, in this paper, we propose to leverage the multi-view information by fusing partitions. Specifically, we align each partition to form a consensus cluster indicator matrix through a distinct rotation matrix. Moreover, a weight is assigned for each view to account for the clustering capacity differences of views. Finally, the basic partitions, weights, and consensus clustering are jointly learned in a unified framework. We demonstrate the effectiveness of our approach on several real datasets, where significant improvement is found over other state-of-the-art multi-view clustering methods.

研究の動機と目的

• ノイズや視覚間の不一致が存在する中でのマルチビューデータ統合の課題に対処すること。
• 特徴空間で情報を統合する従来のマルチビュークラスタリング手法の限界を克服すること。これらの手法はノイズによる情報損失を被る可能性がある。
• 視覚固有のパーティション、共通クラスタリング、アライメント変換を同時に学習する統一的でエンドツーエンドのフレームワークを構築すること。
• 共有クラスタ構造がより安定し、視覚固有のノイズの影響を受けにくいため、パーティション空間で作業することでクラスタリングのロバスト性と性能を向上させること。
• 共通クラスタリング学習中に各視覚のクラスタリング能力の違いを反映するために、各視覚に適応的重みを割り当てること。

提案手法

• 各視覚のクラスタリングパーティションを離散的インジケータ行列としてモデル化し、各視覚ごとに異なる回転行列を用いて共通の共通クラスタリング行列にアライメントする。
• 共通クラスタリング行列、視覚固有の回転行列、視覚重みを、パーティションのアライメントと共通性を促進する統一目的関数を用いて同時に最適化する。
• グラフ構築とスペクトル埋め込みをフレームワークに統合し、共通クラスタリングが反復的にグラフ学習をガイドできるようにする。
• 各視覚に回転行列を適用して個々のパーティションを共通空間に変換し、異種のクラスタ構造の柔軟なアライメントを可能にする。
• 各視覚の信頼性やクラスタリング能力を反映するために、適応的視覚重みを学習し、ノイズの多いまたは弱い視覚へのロバスト性を向上させる。
• 共通クラスタリング、回転行列、視覚重みの更新を交互に繰り返す反復的最適化戦略を用いて、全フレームワークをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 共通の共通空間にマルチビューのパーティションをアライメントすることで、特徴空間統合と比較してクラスタリング性能が向上するか？
• RQ2 従来の特徴空間手法と比較して、パーティション空間で作業することでノイズや視覚間の不一致に対する感受性が低下するか？
• RQ3 グラフ学習、スペクトル埋め込み、共通クラスタリングを同時に最適化する統一的でエンドツーエンドのフレームワークは、2段階または多段階アプローチを上回る性能を発揮できるか？
• RQ4 視覚固有の回転行列と適応的重みの使用は、視覚間の多様なクラスタ構造のアライメントにどの程度効果的か？
• RQ5 提案手法はハイパーパramータの変動に頑健であり、異なるデータセットで安定した性能を発揮できるか？

主な発見

• mPACは、Caltech7、Caltech20、Handwritten Numeralsを含む4つのベンチマークデータセットで最先端の性能を達成し、Fスコア、NMI、ARI指標において既存のマルチビュークラスタリング手法を上回った。
• Caltech20データセットでは、mPACがFスコア0.7473を達成し、2番目に良い手法（AMGL）の0.7404を上回り、k-meansやNMFベースの手法を顕著に上回った。
• Handwritten Numeralsデータセットでは、mPACがFスコア0.7473、精度0.7348、再現率0.7200を達成し、優れたクラスタリング品質を示した。
• 特にγの増加に伴い、パラメータ設定に対して高い安定性を示し、ハイパーパramータの変動に対するロバスト性を裏付けた。
• t-SNEを用いた可視化により、個々の視覚パーティションが最適でない場合でも、mPACは一貫性があり、明確に分離されたクラスタを生成することが確認され、パーティション空間における信頼性の高さが示された。
• アブレーションスタディにより、パーティションアライメントが極めて重要であることが確認され、アライメントが除去されたり適切に最適化されない場合には性能が著しく低下した。