[論文レビュー] Iterative Views Agreement: An Iterative Low-Rank based Structured Optimization Method to Multi-View Spectral Clustering

Yang Wang, Wenjie Zhang+4 more|arXiv (Cornell University)|Aug 19, 2016

Face and Expression Recognition参考文献 25被引用数 124

ひとこと要約

本論文は、複数グラフラプラシアン正則化とビューごとの低ランク・スパース表現を組み合わせ、マルチビュースペクトルクラスタリングにおける合意を達成する反復型低ランクベースの構造最適化手法を提案し、特にノイズ下で従来法より改善する。

ABSTRACT

Multi-view spectral clustering, which aims at yielding an agreement or consensus data objects grouping across multi-views with their graph laplacian matrices, is a fundamental clustering problem. Among the existing methods, Low-Rank Representation (LRR) based method is quite superior in terms of its effectiveness, intuitiveness and robustness to noise corruptions. However, it aggressively tries to learn a common low-dimensional subspace for multi-view data, while inattentively ignoring the local manifold structure in each view, which is critically important to the spectral clustering; worse still, the low-rank minimization is enforced to achieve the data correlation consensus among all views, failing to flexibly preserve the local manifold structure for each view. In this paper, 1) we propose a multi-graph laplacian regularized LRR with each graph laplacian corresponding to one view to characterize its local manifold structure. 2) Instead of directly enforcing the low-rank minimization among all views for correlation consensus, we separately impose low-rank constraint on each view, coupled with a mutual structural consensus constraint, where it is able to not only well preserve the local manifold structure but also serve as a constraint for that from other views, which iteratively makes the views more agreeable. Extensive experiments on real-world multi-view data sets demonstrate its superiority.

研究の動機と目的

• マルチビュースペクトルクラスタリングにおける単一の共通サブスペース学習の限界を動機づけ、解決する。
• 各ビューごとにグラフラプラシアン正則化を通じてビュー固有の局所多様体構造を保持する。
• 個々のビュー構造を崩さずに横断ビューの合意を強制する反復型ビュー間同意メカニズムを導入する。
• LADMAPを用いて、ビュー間で一貫性があり頑健な低ランク表現を取得する新規最適化定式化を開発・解く。
• 従来技法を上回る最先端のベースラインに比べ、実世界のマルチビューデータセットでクラスタリング性能を示す。

提案手法

• 低ランク表現を各ビューごとに1つずつのマルチグラフラプラシアン正則化と結合する。
• Z_i にスパース性制約を課し局所近傍構造を捉える。
• すべてのビュー間でビュー固有表現（Z_i）間の違いを最小化するビュー間合意項を導入する。
• Z_i, E_i, G_i の変数を用い、LADMAPにより最適化問題を定式化して解く。
• 非負性を確保し効率的な更新を可能にするために補助変数 G_i を導入する。
• 他のビューの影響を活用して合意を導くように、Z_i, E_i, G_i, ラグランジュ乗数を反復的に更新する（Z_i の更新には他ビューの総和項を含む）。
• 収束後、各ビューの類似度を平均化して結合類似度行列 W を構築し、W に対してスペクトralクラスタリングを適用する。
• 主な式は、低ランク・スパース・グラフ正則化・ビュー間合意項を含む多ビュー目的関数、グラフラプラシアン正則化 Tr(Z_i^T L_i Z_i)、およびZ_i, E_i, G_i のSVTを用いたLADMAP更新（Z_i, E_i, G_i）を含む。

実験結果

リサーチクエスチョン

• RQ1 ビュー間の学習で共有クラスタリングに適した表現を学習しつつ、ビュー固有の局所多様体構造をどう保持するか。
• RQ2 ノイズ下で横断ビュー合意を伴う反復型のビュー別低ランク学習は多視点スペクトルクラスタリングを改善するか。
• RQ3 ビューごとのグラフ正則化と合意制約を導入することで、既存の共正規化法や共学習法を上回るか。
• RQ4 現実的な特徴破損下で提案法が標準的なマルチビュークラスタリングベンチマークに与える影響はどの程度か。

主な発見

手法	UCI_ACC	AwA_ACC	NUS_ACC	UCI_NMI	AwA_NMI	NUS_NMI
MFMSC	43.81	17.13	22.81	41.57	11.48	12.21
MAASC	51.74	19.44	25.13	47.85	12.93	11.86
CCAMSC	73.24	24.04	27.56	56.51	15.62	14.56
CoMVSC	80.27	29.93	33.63	63.82	17.30	7.07
Co-training	79.22	29.06	34.25	62.07	18.05	8.10
RLRR	83.67	31.49	35.27	81.20	25.57	18.29
Ours	86.39	37.22	41.02	85.45	31.74	20.61

• 提案法は、3データセットを跨いで強力なベースラインより高いクラスタリング精度（ACC）と正規化相互情報量（NMI）を達成。
• UCI digits、AwA、NUSでそれぞれ最高のACCを達成：86.39、37.22、41.02、そして最高のNMIを達成：85.45、31.74、20.61。
• MFMSC、MAASC、CCAMSC、CoMVSC、Co-training、RLRRと比較して、提案法はACCとNMIの両方を一貫して改善。
• マルチグラフ正則化と反復型ビュー間合意機構は、特徴のノイズによる劣化がある場合に特に性能向上に寄与。
• 提案法は、共通空間射影（CCAMSC）や共正規化法（CoMVSC、Co-training）を上回り、ビュー固有の局所構造をより良く保持し、頑健な合意を達成。