[論文レビュー] Incomplete Multi-view Clustering via Graph Regularized Matrix Factorization

Jie Wen, Zheng Zhang+2 more|arXiv (Cornell University)|Sep 17, 2018

Face and Expression Recognition参考文献 25被引用数 9

ひとこと要約

本稿では、追加の正則化やペナルティパラメータを必要とせずに、コン pact で判別性の高い共通表現を学習する、不完全なマルチビュークラスタリングのための新規な手法 IMC_GRMF を提案する。再構築誤差に基づくグラフ正則化と直交基底制約を活用することで、不完全なデータにおいてもクラスタリング性能を向上させるとともに、未知のサンプルへの拡張（out-of-sample extension）を可能にする。

ABSTRACT

Clustering with incomplete views is a challenge in multi-view clustering. In this paper, we provide a novel and simple method to address this issue. Specifically, the proposed method simultaneously exploits the local information of each view and the complementary information among views to learn the common latent representation for all samples, which can greatly improve the compactness and discriminability of the obtained representation. Compared with the conventional graph embedding methods, the proposed method does not introduce any extra regularization term and corresponding penalty parameter to preserve the local structure of data, and thus does not increase the burden of extra parameter selection. By imposing the orthogonal constraint on the basis matrix of each view, the proposed method is able to handle the out-of-sample. Moreover, the proposed method can be viewed as a unified framework for multi-view learning since it can handle both incomplete and complete multi-view clustering and classification tasks. Extensive experiments conducted on several multi-view datasets prove that the proposed method can significantly improve the clustering performance.

研究の動機と目的

• 一部のサンプルにおいて一部のビューが欠損している状況におけるクラスタリングの課題に取り組むこと。これは、現実のマルチビュー・データにおいて一般的に見られる問題である。
• 既存手法の限界を克服する。既存手法は、ノイズの多い補完を導入するか、完全なビューを参照として必要とする。
• グラフ正則化における複数のペナルティパラメータの手動チューニングを排除することで、複雑さを軽減し、ロバスト性を向上させる。
• 各ビュー固有の基底行列に直交制約を課すことで、未知のサンプルへの一般化（out-of-sample extension）を実現する。
• 不完全および完全なマルチビュークラスタリングおよび分類タスクを統合的に処理できるフレームワークを提供する。

提案手法

• すべてのビューにわたる共有潜在表現を学習するため、クラスタリング問題を行列分解問題として定式化する。
• 各ビューの再構築誤差に基づいて近隣グラフを構築し、追加の正則化なしに局所的な幾何構造を保持する。
• グラフラプラシアンを用いてグラフ正則化を目的関数に統合し、表現のコンパクト性と判別性を向上させる。
• 各ビューの基底行列に直交制約を適用することで、未知のサンプルへの一般化（out-of-sample extension）を可能にする。
• 各部分問題に対して閉形式解が得られる交互最適化アルゴリズムを用いて目的関数を最適化する。
• ハイパーパrameter λ₁ と λ₂ のチューニングにはグリッドサーチを用い、近隣数はクラスサイズのヒューリスティックに基づいて選択する。

実験結果

リサーチクエスチョン

• RQ1 完全なビューを参照とせずに、不完全なマルチビュー・データに対して効果的に共通潜在表現を学習する方法は何か？
• RQ2 追加の正則化項やペナルティパラメータを導入せずに、表現空間におけるデータの局所的幾何構造をどのように保持できるか？
• RQ3 さまざまなレベルのビュー欠損を示すベンチマークデータセットにおいて、提案手法は最先端手法を上回る性能を示すか？
• RQ4 提案手法はハイパーパrameterの選択や欠損率の変動に対してどれほどロバストか？
• RQ5 未知のサンプルへの一般化が可能か。これは、リアルタイムストリーミングやインクリメンタル学習の現場応用に向けた可能性を示す。

主な発見

• 70% のペアドサンプルを有する手書き数字データセットにおいて、提案手法は 51.88% の正確性と 48.28% の NMI を達成し、GPMVC (49.10%/46.02%) や DCNMF (50.74%/44.04%) といったすべてのベースラインを上回った。
• 70% のペアドサンプルを有する BUAA データセットにおいて、提案手法は 51.15% の正確性と 42.74% の NMI を達成し、PVC (43.96%/40.26%) や IMG (42.36%/33.29%) を顕著に上回った。
• 90% のビュー欠損を有する Caltech7 データセットにおいて、提案手法は 51.88% の正確性と 48.28% の NMI を達成し、高い欠損率下でも強固な性能を示した。
• λ₁ と λ₂ がそれぞれ [10⁰, 10²] および [10⁻⁵, 10⁻¹] の範囲にある場合、特にその範囲内でパラメータの感度が低く、安定した性能を示した。
• 収束解析により、目的関数値が20イテレーション以内に著しく減少することが確認され、高速かつ安定した最適化が実現していることが示された。
• 近隣数が最適範囲内（例：手書き数字では8〜18、BUAAでは2〜6）に選択された場合、性能への影響は最小限であった。一方、クラスサンプル数を超えると性能が急激に低下した。