[論文レビュー] Distributed Matrix Completion and Robust Factorization

Lester Mackey, Ameet Talwalkar+1 more|arXiv (Cornell University)|Jul 5, 2011

Sparse and Compressive Sensing Techniques被引用数 14

ひとこと要約

本稿では、核ノルム正則化付き行列分解を用いた分散行列補完およびロバスト要因分解のためのスケーラブルな分割統治フレームワーク、Divide-Factor-Combine (DFC) を提案する。行列を部分問題に分割し、並列で解き、ランダム化行列近似を用いて結果を統合することで、集中型手法と同等の高確率推定保証を維持しながら、線形に近いから超線形の高速化を達成する。

ABSTRACT

If learning methods are to scale to the massive sizes of modern datasets, it is essential for the field of machine learning to embrace parallel and distributed computing. Inspired by the recent development of matrix factorization methods with rich theory but poor computational complexity and by the relative ease of mapping matrices onto distributed architectures, we introduce a scalable divide-and-conquer framework for noisy matrix factorization. We present a thorough theoretical analysis of this framework in which we characterize the statistical errors introduced by the "divide" step and control their magnitude in the "conquer" step, so that the overall algorithm enjoys high-probability estimation guarantees comparable to those of its base algorithm. We also present experiments in collaborative filtering and video background modeling that demonstrate the near-linear to superlinear speed-ups attainable with this approach.

研究の動機と目的

• 集中型の核ノルム正則化付き行列分解アルゴリズムが、高コストな切断特異値分解（SVD）に依存するためのスケーラビリティの制限を解消すること。
• データの分割と計算の並列化にもかかわらず、強力な理論的推定保証を維持する分散フレームワークを開発すること。
• 並列コンputングアーキテクチャを活用して、大規模データセット上で効率的かつ理論的に妥当な行列補完およびロバスト要因分解を実現すること。
• 分散行列分解におけるデータ分割と再構成の統計的影響を分析し、「分割」および「統治」の各ステップで誤差を制御すること。

提案手法

• DFCフレームワークは、入力行列を互いに素な部分行列に分割し、各部分行列に対して並列に基本的な核ノルム正則化付き行列分解アルゴリズムを適用する。
• 各部分問題は、理論的整合性を保証するため、核ノルム正則化付きの凸最適化を用いて独立に解かれる。
• 部分問題からの解は、ランダム化行列近似技術を用いて統合され、グローバルな低ランク推定値が再構築される。
• 理論的分析により、元の行列の統計的性質（例えば、低ランク構造、スパarsity）がフレームワーク内の計算選択に与える影響が結びつけられる。
• 「分割」ステップで生じる統計的誤差を制御し、「統治」ステップでそれが有界であることを保証することで、高確率誤差境界が導出される。
• 2つのバージョンとしてフレームワークが具体化される：DFC-Proj（組み合わせに射影を用いる）とDFC-RP（ランダムスケッチを用いる）、両者とも理論的保証を有する。

実験結果

リサーチクエスチョン

• RQ1 分割統治アプローチは、分散環境下でも集中型の核ノルム正則化付き行列分解の理論的推定保証を保持できるか？
• RQ2 部分行列のサンプリングによって生じる統計的誤差は、分割数やデータサイズに応じてどのようにスケーリングされるか？
• RQ3 分散部分問題からの組み合わせ解が、集中型ベースラインと同等の推定誤差を達成するための条件は何か？
• RQ4 実際の応用において、DFCフレームワークは精度を維持しながらどの程度超線形の高速化を達成できるか？

主な発見

• DFCフレームワークは、協調フィルタリングおよび動画背景モデリングの両タスクで、線形に近いから超線形の高速化を達成しており、実用的なスケーラビリティを示している。
• 理論的分析により、DFCの全体的な推定誤差は高確率で有界であり、集中型ベースアルゴリズムと同等であることが示された。
• DFC-Projについては、行列の非一様性およびサンプリング密度にやや厳しい仮定を置くことで、再構築誤差が高確率で有界であることが保証された。
• DFC-RPバージョンは、ランダムスケッチを用いることで同様の理論的保証を達成し、部分問題の解の効率的統合を可能にした。
• ロバスト行列分解の実験から、元の行列がノイズや外れ値によって汚染されていても、フレームワークが強い統計的一貫性を維持することが示された。
• 実験結果により、DFCは並列化によって計算時間を顕著に短縮しながら、多様なデータセットで高い精度を維持することが確認された。