[論文レビュー] Online Low-Rank Subspace Clustering by Basis Dictionary Pursuit

Jie Shen, Ping Li+1 more|arXiv (Cornell University)|Mar 28, 2015

Sparse and Compressive Sensing Techniques参考文献 29被引用数 44

ひとこと要約

本稿では、ベースディクショナリプルージョンを用いたオンライン低ランク部分空間クラスタリング手法を提案する。この手法により、n²のメモリコストをpdに削減する。ここでpは環境次元、dは推定ランクである。この手法は期待損失関数の停留点への漸近的収束を達成し、合成データおよび実データ上で高速かつロバストでメモリ効率の良い性能を示す。

ABSTRACT

Low-Rank Representation (LRR) has been a significant method for segmenting data that are generated from a union of subspaces. It is also known that solving LRR is challenging in terms of time complexity and memory footprint, in that the size of the nuclear norm regularized matrix is n-by-n (where n is the number of samples). In this paper, we thereby develop a novel online implementation of LRR that reduces the memory cost from O(n2) to O(pd), with p being the ambient dimension and d being some estimated rank (d ≤ p ≪ n). We also establish the theoretical guarantee that the sequence of solutions produced by our algorithm converges to a stationary point of the expected loss function asymptotically. Extensive experiments on synthetic and realistic datasets further substantiate that our algorithm is fast, robust and memory efficient.

研究の動機と目的

• n×n行列演算に起因するO(n²)のスケーリングに起因する、従来の低ランク表現（LRR）の高い時間計算量とメモリ使用量を緩和する。
• 完全なデータ行列を保存せず、ストリームデータを動的に処理できるLRRのオンライン版を開発する。
• n²からpdにメモリ使用量を削減する。ここでd ≪ nは推定低ランク、pは環境次元である。
• アルゴリズムの解の系列が期待損失関数の停留点に収束することを理論的に確立する。
• 大規模およびストリーム処理データ向けの部分空間クラスタリングアプリケーションにおいて、スケーラビリティとロバスト性を確保する。

提案手法

• データを低次元部分空間に表現するため、ベースディクショナリプルージョンフレームワークを用いてオンラインLRRを定式化する。
• 全n×n表現行列を保存する代わりに、O(pd)サイズのコンactなディクショナリを維持する。
• 新しいデータサンプルが到着する度にディクショナリを段階的に更新し、オンライン処理を可能にする。
• 表現行列の低ランク構造を促進するために、核ノルム正則化を用いる。
• 現在のデータ部分空間を最もよく表現する基底ベクトルを選択するためのグリーディープルージョン戦略を適用する。
• 解の系列が期待損失関数の停留点に近づくことを示すことにより、理論的収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 オンラインLRRは、クラスタリング精度を維持したまま、著しくメモリ使用量を削減できるか？
• RQ2 提案されたオンラインアルゴリズムは、期待損失関数の停留点に収束するか？
• RQ3 大規模な設定において、提案手法のメモリ効率はバッチLRRと比べてどうなるか？
• RQ4 ストリーム処理や大規模データ処理において、アルゴリズムはロバスト性と高速性を維持できるか？
• RQ5 推定ランクdと環境次元pが、アルゴリズムの性能およびメモリ使用量に与える影響は何か？

主な発見

• 提案手法により、nが大きい場合の大きなデータセットへのスケーラビリティを可能にするために、O(n²)からO(pd)にメモリコストが削減された。
• アルゴリズムは期待損失関数の停留点への漸近的収束を達成した。
• 広範な実験により、バッチLRRと比較して著しく高速かつメモリ効率が良いことが示された。
• ノイズや部分空間の条件が変化する状況下でも、合成データおよび実世界のデータセットにおいて、ロバストな性能を維持した。
• アルゴリズムのオンライン性により、全データを保存する必要なく、段階的処理が可能となった。