[論文レビュー] Self-Expressive Decompositions for Matrix Approximation and Clustering

Eva L. Dyer, Tom Goldstein+3 more|arXiv (Cornell University)|May 4, 2015

Sparse and Compressive Sensing Techniques参考文献 31被引用数 13

ひとこと要約

本稿では、非協和なデータベクトルを貪欲に選択して基底を構築し、高速なOMP変種を用いてスパース表現を計算するスケーラブルなスパース行列因子分解手法SEEDを提案する。十分な条件下では正確な低ランク行列回復を可能とし、行列近似、クラスタリング、ノイズ除去の分野で従来手法を上回り、計算コストを著しく削減する。

ABSTRACT

Data-aware methods for dimensionality reduction and matrix decomposition aim to find low-dimensional structure in a collection of data. Classical approaches discover such structure by learning a basis that can efficiently express the collection. Recently, "self expression", the idea of using a small subset of data vectors to represent the full collection, has been developed as an alternative to learning. Here, we introduce a scalable method for computing sparse SElf-Expressive Decompositions (SEED). SEED is a greedy method that constructs a basis by sequentially selecting incoherent vectors from the dataset. After forming a basis from a subset of vectors in the dataset, SEED then computes a sparse representation of the dataset with respect to this basis. We develop sufficient conditions under which SEED exactly represents low rank matrices and vectors sampled from a unions of independent subspaces. We show how SEED can be used in applications ranging from matrix approximation and denoising to clustering, and apply it to numerous real-world datasets. Our results demonstrate that SEED is an attractive low-complexity alternative to other sparse matrix factorization approaches such as sparse PCA and self-expressive methods for clustering.

研究の動機と目的

• スパースPCA や自己表現クラスタリングのようなスパース行列因子分解手法のスケーラブルな代替手法を開発し、グローバルな基底を学習することを回避する。
• データベクトルの一部を非協和なものとして選択することで、基底を構築し、正確な低ランク行列回復を実現する。
• データサンプルのみを用いて、行列近似、クラスタリング、ノイズ除去、外れ値検出のための計算効率の良い手法を提供する。
• 明示的な誤差計算が困難な状況において、表現誤差推定に基づく停止基準を提供する。
• 画像や運動皮質からの神経信号を含む実世界のデータセットにおいて、本手法の有効性を示す。

提案手法

• SEEDは oASIS（加速逐次非協和選択）を用い、以前に選択された列と非協和である列を繰り返し選択することで、相関を回避し線形独立性を保証する。
• oASISはグラム行列 G = X^T X の部分集合上で動作し、全行列 G を計算せずに効率的な列選択を可能にする。
• 本手法はグラム行列の逆行列（W^{-1}）と行列 R = W^{-1} C^T を維持・更新し、ランク1更新とブロック行列逆行列公式を用いて計算効率を向上させる。
• 基底選択後、更新された逆グラム行列を用いた高速な直交匹配 Pursuit（OMP）の変種を用いて、データのスパース表現を計算する。
• 各ステップでシュール補行列 Δ_i を用いて表現誤差を推定し、誤差が閾値 δ よりも小さくなった場合に停止基準として利用する。
• ブロック行列逆行列とベクトル演算を活用することで、基底構築中に逐次的かつ低複雑度の更新を実現する。

実験結果

リサーチクエスチョン

• RQ1 貪欲な非協和性に基づく列選択戦略は、部分空間の和に位置するデータに対して正確な低ランク行列回復を達成できるか？
• RQ2 N が大きい場合に O(N^2) の記憶容量と計算量を要するSSC や LRR のような自己表現手法の代替として、SEEDはスケーラブルに機能するか？
• RQ3 SEEDは計算コストを抑えながら、行列近似およびクラスタリングタスクにおいてスパースPCA や近傍探索手法を上回る性能を示せるか？
• RQ4 シュール補行列 Δ_i からの表現誤差推定値は、実際の応用において効果的な停止基準として利用可能か？
• RQ5 画像や運動皮質からの神経信号といった実世界の応用において、SEEDはノイズ除去や外れ値検出の分野でどれほど優れた性能を発揮するか？

主な発見

• 選択された列が行列 X の全列空間をカバーする場合、非協和性とシュール補行列の正定値性に基づく十分条件のもとで、SEEDは正確な行列回復を達成する。
• 各反復においてシュール補行列 Δ_i を用いた表現誤差推定値が得られ、誤差が閾値以下に低下した段階で早期停止が可能となる。
• SEEDはSSC や LRR よりも著しく計算コストを削減し、全類似行列構築に必要な O(N^2) の記憶容量と固有値計算を回避する。
• 画像や運動皮質からの神経信号を含む実世界のデータセットにおいて、SEEDは従来手法の一部の計算コストで競争力のあるクラスタリングおよび行列近似性能を達成する。
• oASIS を用いた列選択により、選択された基底ベクトルは線形独立で良好に条件付けられており、表現効率が向上する。
• スパース表現と残差誤差解析を活用することで、SEEDは効果的なノイズ除去および外れ値検出を実現する。