[論文レビュー] Divide-and-Conquer Matrix Factorization

Lester Mackey, Ameet Talwalkar+1 more|arXiv (Cornell University)|Jul 5, 2011

Sparse and Compressive Sensing Techniques参考文献 34被引用数 18

ひとこと要約

本稿では、大規模なノイズあり行列分解のための並列的分割統治フレームワークであるDivide-Factor-Combine（DFC）を提案する。行列は部分問題に分割され、任意の基本的因子分解アルゴリズムを用いて並列で解かれる。その後、ランダム化行列近似技術を用いて結果を統合し、近似的に線形から超線形の高速化を達成するとともに、基本アルゴリズムと同等の高確率回復保証を維持する。

ABSTRACT

This work introduces Divide-Factor-Combine (DFC), a parallel divide-and-conquer framework for noisy matrix factorization. DFC divides a large-scale matrix factorization task into smaller subproblems, solves each subproblem in parallel using an arbitrary base matrix factorization algorithm, and combines the sub-problem solutions using techniques from randomized matrix approximation. Our experiments with collaborative filtering, video background modeling, and simulated data demonstrate the near-linear to super-linear speed-ups attainable with this approach. Moreover, our analysis shows that DFC enjoys high-probability recovery guarantees comparable to those of its base algorithm.

研究の動機と目的

• 協調フィルタリングや動画背景モデリングなどの応用分野における大規模行列分解の計算ボトル neck を解消すること。
• ノイズ環境下でも解の品質を損なわず、行列分解を効率的に並列化できること。
• 大規模行列にスケーリング可能な強力な理論的回復保証を維持するフレームワークの開発。
• ランダム化行列近似技術を用いて、局所的な解を効果的に統合し、グローバルな一貫性を確保すること。

提案手法

• 行列をより小さな部分行列に分割して並列処理を可能にする。
• 各部分行列を任意の基本的行列因子分解アルゴリズムを用いて独立して因子分解する。
• 部分問題の解をランダム化行列近似を用いて統合し、グローバルな低ランク近似を再構築する。
• ランダム化行列近似からの理論的結果を活用して、統合された解の安定性と正確性を保証する。
• モジュラー構造を採用しており、任意の既存の行列因子分解アルゴリズムを基本ソルバーとして統合可能である。

実験結果

リサーチクエスチョン

• RQ1 ノイズ下での大規模行列分解において、分割統治戦略が近似的に線形または超線形の高速化を達成できるか？
• RQ2 部分問題の解の統合が、基本因子分解アルゴリズムが持つ高確率回復保証を保持できるか？
• RQ3 ランダム化行列近似技術は、顕著な誤差蓄積を伴わずに部分解を効果的に統合できるか？
• RQ4 協調フィルタリングや動画背景モデリングといった多様な応用分野において、このフレームワークはどの程度スケーリング可能か？

主な発見

• DFCは協調フィルタリング、動画背景モデリング、およびシミュレーテッドデータワークロードにおいて、近似的に線形から超線形の高速化を達成した。
• フレームワークは、基本因子分解アルゴリズムと同等の高確率回復保証を維持した。
• ランダム化行列近似の使用により、多様なデータタイプにわたり、正確で安定した部分解の統合が可能となった。
• 実験的結果から、複数の実世界および合成データセットにおいて一貫した性能向上が確認された。