[論文レビュー] Multi-View Spectral Clustering Tailored Tensor Low-Rank Representation

Yuheng Jia, Hui Liu+3 more|arXiv (Cornell University)|Apr 30, 2020

Sparse and Compressive Sensing Techniques参考文献 38被引用数 5

ひとこと要約

本稿では、多視点スペクトラルクラスタリング（MVSC）に特化した新しいテンソル低ランクノルムを提案する。このノルムは、対称的低ランク制約を用いて視点内のブロック対角構造を明示的にモデル化し、構造的スパース低ランク制約を用いて視点間の列方向スパース性を表現する。提案手法は5つのベンチマークデータセットにおいて最先端のMVSC手法を上回り、高いクラスタリング精度を達成する。また、ハイパーパrameterの選定が容易で、安定性に優れている。

ABSTRACT

This paper explores the problem of multi-view spectral clustering (MVSC) based on tensor low-rank modeling. Unlike the existing methods that all adopt an off-the-shelf tensor low-rank norm without considering the special characteristics of the tensor in MVSC, we design a novel structured tensor low-rank norm tailored to MVSC. Specifically, we explicitly impose a symmetric low-rank constraint and a structured sparse low-rank constraint on the frontal and horizontal slices of the tensor to characterize the intra-view and inter-view relationships, respectively. Moreover, the two constraints could be jointly optimized to achieve mutual refinement. On the basis of the novel tensor low-rank norm, we formulate MVSC as a convex low-rank tensor recovery problem, which is then efficiently solved with an augmented Lagrange multiplier based method iteratively. Extensive experimental results on five benchmark datasets show that the proposed method outperforms state-of-the-art methods to a significant extent. Impressively, our method is able to produce perfect clustering. In addition, the parameters of our method can be easily tuned, and the proposed model is robust to different datasets, demonstrating its potential in practice.

研究の動機と目的

• 既存のテンソル低ランクノルムがMVSCに適用される際、MVSC固有の構造的特徴を十分に活用しないという限界を是正すること。
• 各視点内の関係性を、前面スライスに適用する対称的低ランク制約を用いて明示的にモデル化し、各視点内でのブロック対角構造に相当する類似性パターンを反映すること。
• 視点間の関係性を、横方向スライスに適用する構造的スパース低ランク制約を用いてモデル化し、列方向のスパース性を強制することで、異なる視点間のサンプルの一貫性を反映すること。
• 両方の制約を同時に最適化することで相互に補い合い、市販のテンソル低ランクノルムを上回るクラスタリング性能を向上させること。
• 効果的かつ効率的な凸低ランクテンソル回復フレームワークを構築し、ハイパーパrameterの選定に対して実用的かつ高い頑健性を示すこと。

提案手法

• MVSCに特化した新しいテンソル低ランクノルム（LRTN）を提案し、対称的低ランクおよび構造的スパース低ランク制約を統合する。
• 前面スライスに対称的低ランク制約を課すことにより、視点内類似性を表すブロック対角構造を保持する。
• 横方向スライスに列方向の構造的スパース低ランク制約を適用し、複数の視点間の関係性をモデル化する。
• 提案されたLRTNを用いてMVSCを凸最適化問題に定式化し、両方の制約とℓ2,1-ノルムを組み合わせて頑健性を向上させる。
• 増大ラグランジュ乗数（ALM）法を用い、交互方向分割法により最適化問題を解く。
• 3次元テンソル表現における低ランク構造を効率的に活用するため、テンソル特異値分解（t-SVD）を用いる。

実験結果

リサーチクエスチョン

• RQ1 多視点スペクトラルクラスタリングの構造的特徴に特化したテンソル低ランクノルムは、汎用的なテンソル低ランクノルムを上回る性能を発揮できるか？
• RQ2 前面スライスにおける対称的低ランク制約と横方向スライスにおける構造的スパース低ランク制約が、どのように統合的にクラスタリング性能を向上させるか？
• RQ3 本手法は、データ特性が異なる多様なデータセットにどの程度一般化可能か？
• RQ4 本手法はハイパーパrameterの選定に対してどの程度頑健であり、実用的に簡単に調整可能か？
• RQ5 本モデルは、異なる初期類似度行列を用いる既存のMVSC手法に対して、後処理として適用可能か？

主な発見

• 提案手法は5つのベンチマークデータセットにおいて、11種類の既存MVSC手法を上回る最先端のクラスタリング性能を達成した。
• ORLデータセットでは、ℓ2,1-ノルムのパラメータα ∈ [2,7] の範囲で最高のクラスタリング精度（ACC）が得られ、性能に大きな影響を与えることが示された。
• 正則化パラメータλに対して本手法は頑健であり、ORLおよびCoil20では広い範囲（λ ∈ [10,44]）で最適性能が得られた。
• ω₁ ∈ [0.3,0.7]、α ∈ [2,7]、λ ∈ [10,44] のハイパーパrameterは、すべてのデータセットで一貫して有効であり、調整が容易であることを示した。
• アブレーションスタディの結果、特に前面スライスの対称的低ランク制約を削除すると性能が著しく低下し、各構成要素の必要性が裏付けられた。
• 既存手法（例：LT-MSCおよびETLMC）に対して後処理として適用した場合でも性能が向上し、異なる初期類似度行列への高い適応性を示した。