[論文レビュー] Spectral Perturbation Meets Incomplete Multi-view Data

Hao Wang, Linlin Zong+3 more|arXiv (Cornell University)|May 31, 2019

Remote-Sensing Image Classification参考文献 19被引用数 16

ひとこと要約

本稿では、特徴量欠損を類似度行列の欠損に変換し、スペクトル摂動理論を用いて視点間摂動リスクを最小化することで、頑健なコンSENSUSクラスタリングを可能にする、新たな手法Perturbation-oriented Incomplete multi-view Clustering (PIC) を提案する。PICは、欠損のある多視点データ上で、類似度行列の同時補完と摂動に配慮した重み付けによる頑健なコンセンサスラプラシアンの学習を統合することで、合成および実世界の不完全な多視点データセットにおいて、最先端の手法を上回る性能を発揮する。

ABSTRACT

Beyond existing multi-view clustering, this paper studies a more realistic clustering scenario, referred to as incomplete multi-view clustering, where a number of data instances are missing in certain views. To tackle this problem, we explore spectral perturbation theory. In this work, we show a strong link between perturbation risk bounds and incomplete multi-view clustering. That is, as the similarity matrix fed into spectral clustering is a quantity bounded in magnitude O(1), we transfer the missing problem from data to similarity and tailor a matrix completion method for incomplete similarity matrix. Moreover, we show that the minimization of perturbation risk bounds among different views maximizes the final fusion result across all views. This provides a solid fusion criteria for multi-view data. We motivate and propose a Perturbation-oriented Incomplete multi-view Clustering (PIC) method. Experimental results demonstrate the effectiveness of the proposed method.

研究の動機と目的

• 一部のデータインスタンスが特定の視点で欠損しているという現実的課題に取り組む多視点クラスタリングにおける不完全性を扱う。
• 平均値による単純な欠損特徴量補完が、クラス内・クラス間分散を歪めることを回避する。
• スペクトル摂動リスクと不完全な多視点クラスタリングの間の理論的関連性を確立し、視点間の頑健な統合を導く。
• 完成された類似度行列上で動作する新しいクラスタリングフレームワークを構築し、摂動理論を用いて視点を重み付け、コンセンサス表現学習を実現する。

提案手法

• 生データから各視点固有の類似度行列を構築することで、欠損特徴値を各視点の類似度エントリの欠損に変換する。
• 他の視点で対応するインスタンスが存在する場合の平均類似度値を用いて、欠損類似度エントリを補完する。
• 各完成済み類似度行列のラプラシアン行列を計算し、各視点のグラフ構造を表現する。
• スペクトル摂動理論を適用して摂動リスクバウンドを導出し、それを用いて各ラプラシアン行列に重み付けを行い、視点間の固有空間の乖離を最小化する。
• 重み付けされたラプラシアン行列を統合し、摂動リスクに基づいてすべての視点をバランスさせるコンセンサスラプラシアン行列を構築する。
• 最終的なコンセンサスラプラシアン上でスペクトルクラスタリングを実行し、統一されたクラスタリング結果を取得する。

実験結果

リサーチクエスチョン

• RQ1 不完全なデータ下での多視点クラスタリングにおける一貫性の欠如リスクをモデル化・最小化するために、スペクトル摂動理論を活用できるか？
• RQ2 特徴空間からの欠損問題を類似度空間に移行させることで、より頑健なクラスタリング性能が得られるか？
• RQ3 スペクトル安定性に基づいて視点を重み付ける摂動に配慮した統合戦略は、不完全な多視点データにおけるクラスタリング精度を向上させられるか？
• RQ4 本手法は、合成および実世界の不完全な多視点データセットにおいて、既存の行列補完およびクラスタリングベースラインと比較してどのように性能を発揮するか？

主な発見

• 合成データセットにおいて、すべてのPartial Example Ratio (PER) 設定で、DAIMCを含む最近の手法を含むすべてのベースラインを大きく上回り、ACCおよびNMIの両指標で一貫した向上を示した。
• 3つの実世界の不完全な多視点データセットにおいて、ACCおよびNMIの両指標で平均的に最高の性能を達成し、優れた頑健性と一般化性能を示した。
• データの不完全度が変化する状況下でも強固な性能を維持しており、摂動パラメータ $\tilde{\beta}$ を 0.1 に設定した際に最適な結果が得られた。
• パラメータの詳細な分析から、バランススキーム $\beta = \tilde{\beta} \times \|\sum_{v}\mathbf{Q}^{v}\|_F / \|\mathbf{I}\|_F$ により、多様なデータセットにわたり、1つの $\tilde{\beta}$ 値で効果的な性能が得られることを確認した。
• 多視点クラスタリング手法、特にPICは、2視点および1視点のベースラインを常に上回り、不完全であっても複数の視点を活用する利点が確認された。