[論文レビュー] Beyond Low-Rank Representations: Orthogonal Clustering Basis Reconstruction with Optimized Graph Structure for Multi-view Spectral Clustering

Yang Wang, Lin Wu|arXiv (Cornell University)|Aug 4, 2017

Face and Expression Recognition参考文献 21被引用数 4

ひとこと要約

本稿では、低ランク表現（LRR）を潜在的で直交するクラスタリング投影に分解することで、柔軟なクラスタ構造符号化とビュー整合性のあるグラフ学習を可能にする、新たなマルチビュースペクトルクラスタリング手法である、最適化されたグラフ構造を有する直交クラスタリングベース再構成（OCB-OGS）を提案する。本手法は、複数のビューにわたる直交クラスターベースと局所的グラフ構造を同時に最適化することで、ベンチマークデータセットで最先端の性能を達成し、従来のLRRに基づくモデルよりも精度と一貫性に優れている。

ABSTRACT

Low-Rank Representation (LRR) is arguably one of the most powerful paradigms for Multi-view spectral clustering, which elegantly encodes the multi-view local graph/manifold structures into an intrinsic low-rank self-expressive data similarity embedded in high-dimensional space, to yield a better graph partition than their single-view counterparts. In this paper we revisit it with a fundamentally different perspective by discovering LRR as essentially a latent clustered orthogonal projection based representation winged with an optimized local graph structure for spectral clustering; each column of the representation is fundamentally a cluster basis orthogonal to others to indicate its members, which intuitively projects the view-specific feature representation to be the one spanned by all orthogonal basis to characterize the cluster structures. Upon this finding, we propose our technique with the followings: (1) We decompose LRR into latent clustered orthogonal representation via low-rank matrix factorization, to encode the more flexible cluster structures than LRR over primal data objects; (2) We convert the problem of LRR into that of simultaneously learning orthogonal clustered representation and optimized local graph structure for each view; (3) The learned orthogonal clustered representations and local graph structures enjoy the same magnitude for multi-view, so that the ideal multi-view consensus can be readily achieved. The experiments over multi-view datasets validate its superiority.

研究の動機と目的

• マルチビュースペクトルクラスタリングにおける低ランク表現（LRR）の制限、特にクラスタ構造の符号化が不柔軟であることや、複数のビュー間でグラフのスケールが一貫しないことに対処すること。
• LRRを最適化された局所的グラフ構造を有する潜在的で直交するクラスタリング投影に再定式化することで、より表現力があり柔軟なクラスタモデリングを可能にすること。
• 各ビューに対して直交クラスターベース表現とビュー整合的で最適化された局所的グラフ構造を同時に学習し、理想的なマルチビュー一貫性を確保すること。
• 複数のビュー間でバランスの取れた、スケールが等しい表現を実現することで、マルチビューの一致を向上させ、クラスタリング性能を向上させること。

提案手法

• LRRを低ランク行列分解に分解して、各列が直交クラスターベースを表す潜在的で直交する表現を抽出する。
• LRR問題を、各ビューにおける直交クラスターベース表現と最適化された局所的グラフ構造の共同最適化問題に再定式化する。
• 表現とグラフの両方において、複数のビュー間でバランスの取れたスケールを強制する統一された目的関数を導入し、効果的なマルチビュー一貫性を実現する。
• クラスタの直交性、グラフ最適化、マルチビュー整合性を制御する正則化項を含む制約付き最適化フレームワークを採用し、交互最適化により解を求める。
• 学習された直交クラスターベースと最適化されたグラフに基づいてアフィニティ行列を構築し、スペクトルクラスタリングを実行する。
• 複数のビュー間で表現とグラフのスケールを同一にすることで、一貫性があり強固なマルチビュークラスタリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 低ランク表現（LRR）は、最適化された局所的グラフ構造を有する潜在的で直交するクラスタリング投影として再解釈可能であり、マルチビュークラスタリングの性能向上に寄与するか？
• RQ2 LRRを直交クラスターベースに分解することで、従来のLRRよりも柔軟で正確なクラスタ構造モデリングが可能になるか？
• RQ3 複数のビューにわたる直交表現と局所的グラフ構造の共同最適化により、より良いマルチビュー一貫性とクラスタリング性能が達成できるか？
• RQ4 複数のビュー間で表現とグラフのスケールの一貫性が、マルチビュースペクトルクラスタリングの品質に与える影響は何か？

主な発見

• 提案手法のOCB-OGSは、UCI Digitsデータセットで92.22%のクラスタリング精度を達成し、次に優れた手法（LRRGL：86.39%）を顕著に上回った。
• AwAデータセットでは、OCB-OGSが44.55%の精度を達成し、RLRR（31.49%）とLRRGL（37.22%）を上回り、ノイズや複雑な構造に対して優れたロバストネスを示した。
• NUS-WIDEデータセットでは、OCB-OGSが45.78%の精度と26.42%のNMIを達成し、CCAMSCやCo-trainingを含むすべてのベースラインを上回った。
• 図1の可視化比較により、OCB-OGSはより理想的なマルチビューのアフィニティ行列を生成し、明確なブロック対角構造を示しており、強いクラスタ一貫性を示している。
• パラメータスタディの結果、λ₂ = 0.7およびβ = 0.25で最適な性能が得られ、それ以上の値では性能が低下する傾向にあり、安定的で頑健なハイパーパramータ感度を示している。
• 20%のスパースノイズ腐食条件下でも、RLRR や LRRGL よりも強いロバストネスを示しており、特徴ノイズに対して耐性があることが確認された。