[論文レビュー] Robust Localized Multi-view Subspace Clustering

Yanbo Fan, Jian Liang+3 more|arXiv (Cornell University)|May 22, 2017

Face and Expression Recognition参考文献 12被引用数 11

ひとこと要約

本稿では、一貫性のある表現学習中に、サンプルおよびビューの両方に対して信頼度に基づく重みを適応的に割り当てる、ロバストな局所的マルチビュー部分空間クラスタリング（RMSC）モデルを提案する。凸共役を用いてサンプル重みを正則化し、効率的な反復アルゴリズムを採用することで、4つのベンチマークで優れたクラスタリング性能を達成し、ノイズが多い・多様性のあるマルチビューデータを効果的に処理する。

ABSTRACT

In multi-view clustering, different views may have different confidence levels when learning a consensus representation. Existing methods usually address this by assigning distinctive weights to different views. However, due to noisy nature of real-world applications, the confidence levels of samples in the same view may also vary. Thus considering a unified weight for a view may lead to suboptimal solutions. In this paper, we propose a novel localized multi-view subspace clustering model that considers the confidence levels of both views and samples. By assigning weight to each sample under each view properly, we can obtain a robust consensus representation via fusing the noiseless structures among views and samples. We further develop a regularizer on weight parameters based on the convex conjugacy theory, and samples weights are determined in an adaptive manner. An efficient iterative algorithm is developed with a convergence guarantee. Experimental results on four benchmarks demonstrate the correctness and effectiveness of the proposed model.

研究の動機と目的

• 各ビュー内のすべてのサンプルに均一な重みを割り当てる既存のマルチビュークラスタリング手法の制限、すなわち、信頼度の異なるサンプルが存在する場合に性能が低下することを是正すること。
• ノイズが多いまたは外れ値のサンプルはクリーンなサンプルよりも信頼性が低いことを認識し、マルチビューデータにおけるビュー水準およびサンプル水準の信頼度レベルをモデル化すること。
• 事前の信頼度レベルの知識を必要とせず、最適化プロセス中にサンプル重みを学習する適応的重み付け機構を開発すること。
• 大規模なマルチビューデータセットに対して収束性と計算効率を保証する最適化プロセスを確保すること。
• 実世界のベンチマークにおいて、最先端のマルチビュークラスタリング手法を上回る本手法の優位性を実証すること。

提案手法

• 各ビューにおける各サンプルに対して非負の重みパラメータを導入し、個々のサンプルの信頼度を反映させ、ノイズが多いまたは外れ値のサンプルの抑制を可能にする。
• 凸共役理論に基づく正則化項をサンプル重みに導入し、最適化プロセス中に適応的かつデータ駆動的な重み割り当てを促進する。
• ブロック座標降下法を用いた反復的最適化アルゴリズムを提案し、非凸最適化問題を解く。収束性は理論的に保証されている。
• 複数のビューからの自己表現を、ビュー水準およびサンプル水準の両方の重みを統合的に最適化して重み付き平均化することで、ロバストな一貫性表現を学習する。
• 元のクラスタリング構造を保持するために、一貫性表現行列に低ランクおよびスパース正則化を組み込む。
• 一貫性表現に核ノルムペナルティを、自己表現行列にL1ノルムを適用することで、スパarsityおよび低ランク構造を促進する。

実験結果

リサーチクエスチョン

• RQ1 サンプル水準およびビュー水準の信頼度を同時にモデル化することで、マルチビュークラスタリングにおける一貫性表現学習が向上するか？
• RQ2 凸共役に基づくデータ駆動的適応的重み付け機構は、固定またはビュー単位の均一重みと比較して、ノイズおよび外れ値に対してより高いロバスト性を示すか？
• RQ3 提案手法RMSCは、多様な実世界データセットにおいて、最先端のマルチビュークラスタリング手法を上回る性能を示すか？
• RQ4 RMSCの最適化アルゴリズムは、大規模なマルチビューデータにおいて実用的に収束性があり、効率的か？
• RQ5 RMSCの性能はハイパーパrameterにどれほど敏感か？信頼性の高い展開が可能な広いパラメータ空間が存在するか？

主な発見

• 提案されたRMSCモデルは、Digit、Reuter、その他の4つのベンチマークデータセットにおいて、すべての比較手法を一貫して上回り、優れたクラスタリング精度を示した。
• SSC-AVGおよびRMSC-WV（等価またはビュー単位の均一重みを仮定）と比較して、RMSCは顕著な性能向上を達成しており、サンプル水準の信頼度モデル化が不可欠であることを実証した。
• Digitデータセットでは、ノイズの多いビュー（例：ZER）を追加しても、RMSCは安定した性能を維持したが、RMSC-WVおよびSSC-AVGは性能が低下した。これにより、本手法のロバスト性が明確になった。
• 提案されたアルゴリズムの収束は速く、DigitおよびReuterデータセットの両方で5イテレーション以内に目的関数値が急激に減少した。
• ハイパーパrameter λおよび β に対して、RMSCは低感度であり、広い範囲の値で強い性能を示した。実用的なロバスト性を示している。
• サンプル重みの可視化結果から、アルゴリズムがノイズが多いまたは外れ値のサンプルを効果的に特定し、低減していることが確認され、信頼度の直感に整合した結果が得られた。