[論文レビュー] Clustering multi-way data: a novel algebraic approach

Eric Kernfeld, Shuchin Aeron+1 more|arXiv (Cornell University)|Dec 22, 2014

Tensor decomposition and applications参考文献 26被引用数 29

ひとこと要約

本稿では、t-積を用いて多様なデータの3次元構造を保持することで、スパース部分空間クラスタリング（SSC）を拡張した、新規なテンソルベースのクラスタリング手法SSmC（多様なデータ向けスパース部分空間クラスタリング）を提案する。データをテンソルとしてモデル化し、自由加群上でのt-積代数を活用することで、特に最小限の前処理で顔や数字のデータセット上でSSCよりも高いクラスタリング精度を達成した。

ABSTRACT

In this paper, we develop a method for unsupervised clustering of two-way (matrix) data by combining two recent innovations from different fields: the Sparse Subspace Clustering (SSC) algorithm [10], which groups points coming from a union of subspaces into their respective subspaces, and the t-product [18], which was introduced to provide a matrix-like multiplication for third order tensors. Our algorithm is analogous to SSC in that an "affinity" between different data points is built using a sparse self-representation of the data. Unlike SSC, we employ the t-product in the self-representation. This allows us more flexibility in modeling; infact, SSC is a special case of our method. When using the t-product, three-way arrays are treated as matrices whose elements (scalars) are n-tuples or tubes. Convolutions take the place of scalar multiplication. This framework allows us to embed the 2-D data into a vector-space-like structure called a free module over a commutative ring. These free modules retain many properties of complex inner-product spaces, and we leverage that to provide theoretical guarantees on our algorithm. We show that compared to vector-space counterparts, SSmC achieves higher accuracy and better able to cluster data with less preprocessing in some image clustering problems. In particular we show the performance of the proposed method on Weizmann face database, the Extended Yale B Face database and the MNIST handwritten digits database.

研究の動機と目的

• 2次元または3次元データをベクトルにフラット化する従来の部分空間クラスタリング手法の限界、すなわち構造的情報を損なう問題に対処すること。
• 画像などの多様なデータをテンソルとして扱い、t-積を用いた新しい代数的フレームワークを構築し、より効果的なクラスタリングを実現すること。
• スパース部分空間クラスタリング（SSC）をテンソルデータに拡張するために、スカラ行列乗算をt-積に基づく演算に置き換えること。
• テンソルフレームワーク内でのチューブ角幾何学を用いて、クラスタリング性能に関する理論的保証を提供すること。
• 豊富な前処理を要しない実世界の画像データセットにおいて、より高いクラスタリング精度を示すこと。

提案手法

• 本手法はt-積を用いてデータのテンソルベースの自己表現を定義し、SSCにおけるスカラ乗算をチューブ上の畳み込みに類似した演算に置き換える。
• データは、各前面スライスがデータサンプルに対応する3次元テンソル（H × W × D）として整理され、空間的構造が保持される。
• 凸最適化により、t-積に基づく自己表現制約の下で係数のl1ノルムを最小化するスパース係数テンソルが学習される。
• アフィニティは、t-積に基づく係数テンソルを用いて構築され、スパースで構造的な表現を通じて部分空間所属関係を反映する。
• 理論的分析では、テンソルのフーリエドメイン表現を用いてチューブ角を定義し、正しいクラスタリングが成立する条件を導出する。
• 本手法は可換環上の自由加群上で動作し、ベクトル空間に類似した幾何的推論を可能にするが、テンソル代数に適応された形である。

実験結果

リサーチクエスチョン

• RQ1 t-積フレームワークを用いて、多様なデータにSSCを一般化し、構造的情報を保持できるか？
• RQ2 提案されたテンソルベースのクラスタリング手法は、画像データにおいてベクトル空間のSSCよりも高い精度を達成するか？
• RQ3 t-積ベースのクラスタリング手法が部分空間を正しく分離する理論的条件は何か？
• RQ4 本手法は、最小限の前処理で実世界の画像データセットにおいてどのように性能を発揮するか？
• RQ5 t-積フレームワークは、SSCと同様のクラスタリング性能に関する理論的保証をサポートできるか？

主な発見

• 提案されたSSmC手法は、Weizmann FaceおよびExtended Yale B Faceデータベースにおいて、SSCよりも高いクラスタリング精度を達成しており、特に前処理を最小限にした状況で顕著である。
• MNIST手書き数字データセットにおいても、SSmCはSSCを上回る性能を示し、画像構造の変動やノイズに対して高いロバスト性を示した。
• 理論的分析により、部分加群間のチューブ角が十分に大きい場合に正しいクラスタリングが保証されることを示した。これは、SSCにおける角分離条件の一般化である。
• 本手法は、画像をテンソルとしてモデル化することで2次元構造を保持し、ベクトル化に伴う空間相関の損失を回避した。
• 本フレームワークは、環上の自由加群の新しい特徴付けを用いて理論的保証をサポートし、フーリエドメイン解析を用いて性能バウンドを導出可能である。
• 本手法はSSCの厳密な一般化である。これは、テンソルが行列に還元される特殊ケースにおいてSSCが回復されることに起因する。