[論文レビュー] Unmixing Incoherent Structures of Big Data by Randomized or Greedy Decomposition

Tianyi Zhou, Dacheng Tao|arXiv (Cornell University)|Sep 2, 2013

Sparse and Compressive Sensing Techniques参考文献 60被引用数 7

ひとこと要約

本稿では、大規模データ内の不整合構造を分離するために、ランダム化および貪欲アルゴリズムを用いたスケーラブルな低ランクおよびスパース行列分解手法GoDecを提案する。両側ランダムプロジェクション（BRP）と貪欲な両側（GreB）パラダイムを導入することで、GoDecは高速で、ロバストかつ高精度にデータ行列を低ランクおよびスパース成分に分解する。さらに、マルチラベル学習、モーショングラフセグメンテーション、レコメンデーションシステムへの応用が可能である。

ABSTRACT

Learning big data by matrix decomposition always suffers from expensive computation, mixing of complicated structures and noise. In this paper, we study more adaptive models and efficient algorithms that decompose a data matrix as the sum of semantic components with incoherent structures. We firstly introduce "GO decomposition (GoDec)", an alternating projection method estimating the low-rank part $L$ and the sparse part $S$ from data matrix $X=L+S+G$ corrupted by noise $G$. Two acceleration strategies are proposed to obtain scalable unmixing algorithm on big data: 1) Bilateral random projection (BRP) is developed to speed up the update of $L$ in GoDec by a closed-form built from left and right random projections of $X-S$ in lower dimensions; 2) Greedy bilateral (GreB) paradigm updates the left and right factors of $L$ in a mutually adaptive and greedy incremental manner, and achieve significant improvement in both time and sample complexities. Then we proposes three nontrivial variants of GoDec that generalizes GoDec to more general data type and whose fast algorithms can be derived from the two strategies......

研究の動機と目的

• 大規模データ上で計算が非効率な従来の行列分解手法（特にフルSVDや反復最適化を要するもの）の課題を解決すること。
• 従来の手法では分離が難しい、複雑で不整合なデータ構造（例：低ランクおよびスパース成分の混合）を克服すること。
• 大規模データに対して、時間とサンプルの複雑さを低減しながらも、正確性とロバスト性を維持するスケーラブルなアルゴリズムの開発。
• 構造的事前知識を組み込むことで、モーショングラフセグメンテーション、マルチラベル学習、レコメンデーションシステムといったより複雑なデータタイプをモデル化するためのGoDecの拡張。
• アイテム特徴を活用することで、標準的な行列補完を越えた、ユーザー固有のスコア関数の効率的学習を可能にすること。

提案手法

• データ行列 $X = L + S + G$ を低ランク $L$、スパース $S$、ノイズ $G$ に分解する、交替的射影アルゴリズムであるGoDecを導入する。
• 左および右のランダムプロジェクションを用いて、$X - S$ の閉形式近似を計算することで、低ランク更新を高速化するための両側ランダムプロジェクション（BRP）を適用する。
• 左および右の因子を段階的かつ適応的に更新することで、時間とサンプルの複雑さを低減する、貪欲な両側（GreB）パラダイムを提案する。
• モーショングラフセグメンテーション（幾何変換下での行スパース行列分解）、マルチラベル学習（グループlassoを用いた部分空間アンサンブル）、レコメンデーションシステム（アイテム特徴を用いた$WZ^T$分解）の3つの新しい設定にGoDecを一般化する。
• LinGoDecにおいてサイド情報（例：アイテム特徴）を活用することで、回復精度の向上と、ユーザー固有のスコア関数の学習を可能にする。
• 位相図と実騴評価を用いて、合成データおよび実世界のデータセットにおいて、提案手法のロバスト性とスケーラビリティを検証する。

実験結果

リサーチクエスチョン

• RQ1 ランダム化および貪欲アルゴリズムは、正確性を保ちつつ、大規模データにおける低ランクおよびスパース行列分解の計算コストを顕著に低減できるか？
• RQ2 両側ランダムプロジェクション（BRP）は、フルSVDと比較して、GoDecにおける低ランク更新のスケーラビリティをどの程度向上させるか？
• RQ3 貪欲な両側（GreB）パラダイムは、行列分解における時間とサンプルの複雑さをどの程度改善するか？
• RQ4 構造的事前知識を組み込むことで、モーショングラフセグメンテーション、マルチラベル学習、レコメンデーションシステムといった複雑なデータタイプにGoDecを効果的に拡張できるか？
• RQ5 LinGoDecにサイド情報（例：アイテム特徴）を組み込むことで、回復性能が向上し、標準的な行列補完を超えた新たなモデリング能力が得られるか？

主な発見

• BRPおよびGreBを用いたGoDecは、従来のSVDベースの手法と比較して顕著な高速化を達成し、時間計算量を低減しながらも、低ランクおよびスパース分解における高い正確性を維持している。
• 図5の位相図は、LinGoDecが、ロバストPCAやGreBsmoと比較して、スパarsity-ランク平面のより広い領域で低ランク成分を正確に回復できることを示しており、より高いロバスト性を示している。
• 実世界のマルチラベルデータセットにおいて、MSE（GoDecの変種）はF1スコアおよび正答率においてBR、ML-kNN、MDDMを上回り、精度と再現率の差が小さいため、クラス不均衡に対してロバストであることが示された。
• レコメンデーションシステムの設定において、LinGoDecは$WZ^T$分解を用いて、標準的な行列補完を超えたユーザー固有のスコア関数の学習に成功している。
• 合成データに対する実騴結果から、閉形式更新とBRPの高速化のおかげで、高次元データであってもLinGoDecの時間コストは低く保たれていることが分かった。
• 背景モデリング、モーショングラフセグメンテーション、マルチラベル分類の多様なタスクにおいて、本手法は強力な性能を示しており、一般化能力とスケーラビリティが確認された。