[論文レビュー] Low-rank Multi-view Clustering in Third-Order Tensor Space

Ming Yin, Junbin Gao+2 more|arXiv (Cornell University)|Aug 30, 2016

Sparse and Compressive Sensing Techniques参考文献 43被引用数 6

ひとこと要約

本稿では、t-積と巡回畳み込みを用いて多視点データを3次元テンソルとしてモデル化し、高次相関を捉えることで、低ランクな多視点クラスタリング手法SCMV-3DTを提案する。自己表現に連携スパarsityと低ランク正則化を課すことにより、顔、物体、数字、テキストデータの複数のデータセットで最先端の手法を上回る優れたクラスタリング性能を達成する。

ABSTRACT

The plenty information from multiple views data as well as the complementary information among different views are usually beneficial to various tasks, e.g., clustering, classification, de-noising. Multi-view subspace clustering is based on the fact that the multi-view data are generated from a latent subspace. To recover the underlying subspace structure, the success of the sparse and/or low-rank subspace clustering has been witnessed recently. Despite some state-of-the-art subspace clustering approaches can numerically handle multi-view data, by simultaneously exploring all possible pairwise correlation within views, the high order statistics is often disregarded which can only be captured by simultaneously utilizing all views. As a consequence, the clustering performance for multi-view data is compromised. To address this issue, in this paper, a novel multi-view clustering method is proposed by using extit{t-product} in third-order tensor space. Based on the circular convolution operation, multi-view data can be effectively represented by a extit{t-linear} combination with sparse and low-rank penalty using "self-expressiveness". Our extensive experimental results on facial, object, digits image and text data demonstrate that the proposed method outperforms the state-of-the-art methods in terms of many criteria.

研究の動機と目的

• 既存の多視点クラスタリング手法が二重の視点相関にのみ注目し、多視点データに内在する高次統計的依存性を無視するという限界を解決する。
• すべての視点を同時に統合して内在する多階層相関を活用することで、多視点データにおける視点の不一致や乖離を克服する。
• 低ランクとスパース表現をテンソルベースの構造に統合する包括的フレームワークを構築し、クラスタリングの頑健性と精度を向上させる。
• t-積と巡回畳み込み演算を活用して多視点データを3次元テンソルとしてモデル化し、元の空間的構造を保持するとともに、効果的な低ランク近似を可能にする。
• 共通の低次元表現を同時に学習することでクラスタリング性能を向上させ、スパarsityと低ランク構造を維持する。

提案手法

• t-積を用いて多視点データを3次元テンソルとして表現し、巡回畳み込みを介してすべての視点間の高次相関をモデル化する。
• 各視点がすべての視点の線形結合として再構成される自己表現モデルを定式化し、t-積を用いて表現テンソルにスパarsityと低ランク構造を強制する。
• t-積に基づく表現テンソルに対して、核ノルム（低ランク用）とℓ1ノルム（スパarsity用）の両方を組み合わせた最適化問題を導入し、構造的で特徴的なクラスタリング表現を促進する。
• 学習されたテンソル表現に対してマルコフ連鎖を用いたスペクトルクラスタリングを適用し、最終的なクラスタリング割り当てを取得する。
• 非凸最適化問題をt-積と低ランク制約のもとで効率的に解くために、交替方向スモールスマン法（ADMM）を用いる。
• 視点ごとの平坦化や連結を回避することで、多視点データの元の多次元構造を保持し、内在する相関を維持する。

実験結果

リサーチクエスチョン

• RQ1 t-積を用いて多視点データを3次元テンソルとしてモデル化することで、二重の視点相互作用を超えた高次相関を捉えることにより、クラスタリング性能が向上するか？
• RQ2 t-積に基づく表現テンソルに対してスパarsityと低ランク構造を同時に強制することは、単一または非正則化手法よりも優れたクラスタリング結果をもたらすか？
• RQ3 本手法は、顔、物体、数字、テキストなど多様なデータセットにおいて、精度、頑健性、一貫性の観点から最先端の多視点クラスタリング手法と比較してどのように差をつけるか？
• RQ4 t-積と巡回畳み込みを用いることで、従来の行列ベースや連結ベースの手法と比較して、多視点データの内在的構造をどの程度効果的に保持できるか？
• RQ5 本手法は、異種的または乖離した多視点データにおいて、視点の不一致を効果的に緩和し、クラスタリング性能を向上させることができるか？

主な発見

• ORL顔データベースでは、SCMV-3DTは0.7947 ± 0.0283の精度を達成し、2番目に優れた手法（LT-MSCで0.7587 ± 0.0283）をすべての評価指標で上回った。
• UCI-2viewデータセットでは、SCMV-3DTは91.00%の精度（±0.0000）を達成し、同じ設定でMultiNMF（85.10%）とCCo-reguSC（81.52%）を大きく上回った。
• COIL-20物体データセットでは、SCMV-3DTは0.9800 ± 0.0000の精度を達成し、LRSD-MSC（0.8215 ± 0.0634）と比較してほぼ完璧に近いクラスタリング性能を示した。
• MNIST数字データセットでは、SCMV-3DTはFスコア0.9418 ± 0.0000、調整ランダ指数（ARI）0.9352 ± 0.0000を達成し、LT-MSCやLRSD-MSCを含むすべてのベースラインを上回った。
• 20 Newsgroupsテキストデータセットでは、SCMV-3DTはFスコア0.9298 ± 0.0000、NMI 0.9352 ± 0.0000を達成し、高次元かつスパースなテキストデータにおいても強力な性能を示した。
• 本手法は、テストしたすべてのデータセットで、すべての指標（ACC、Fスコア、NMI、ARI）において最高またはほぼ最高のスコアを安定して達成し、最先端の手法に対する頑健性と優位性を確認した。