[論文レビュー] Learning Low Rank Matrices from O(n) Entries

Raghunandan H. Keshavan, Andrea Montanari+1 more|ArXiv.org|Dec 14, 2008

Machine Learning and Algorithms参考文献 1被引用数 6

ひとこと要約

本稿では、O(n) 個のランダムな要素が、任意の所望の精度 δ において n×n の低ランク行列を再構築するために十分であることを示している。この再構築には、WalkRank と呼ばれる新しいローカルサーチアルゴリズムが用いられ、n·Poly(log n) 操作で近似的に最適な再構築を実現する。これは大規模な問題に対して従来の半定値計画法を著しく上回る性能を発揮する。

ABSTRACT

How many random entries of an n by m, rank r matrix are necessary to reconstruct the matrix within an accuracy d? We address this question in the case of a random matrix with bounded rank, whereby the observed entries are chosen uniformly at random. We prove that, for any d>0, C(r,d)n observations are sufficient. Finally we discuss the question of reconstructing the matrix efficiently, and demonstrate through extensive simulations that this task can be accomplished in nPoly(log n) operations, for small rank.

研究の動機と目的

• 所定の誤差許容範囲内で低ランク行列を再構築するために必要な最小のランダムな要素の数を特定すること。
• 大規模な行列補完問題における半定値計画法の非効率性に対処すること。
• 最小限の観測で高精度な再構築を達成できる計算的に効率的なアルゴリズムの開発。
• ランダムな低ランク行列モデルにおける観測要素数と再構築誤差のトレードオフを分析すること。

提案手法

• 低ランク行列要因を改善するために、グリーディー移動とウォーク移動を交互に実行するローカルサーチアルゴリズム WalkRank を提案する。
• 個々の行または列要因を更新することでコスト関数を最小化するグリーディー移動を用いる。
• 観測された要素における大きな誤差を是正するために要因ベクトルを再推定するウォーク移動を採用する。
• 探索と収束のバランスを取るために、ウォーク移動を確率 ρ≈0.1 で確率的に選択する選択ルールを導入する。
• Δ（観測精度）と ε や r に依存する項を含む境界を用いて再構築誤差を分析する。
• 合成データを用いた実験的検証を行い、最尤推定の下界と比較する。

実験結果

リサーチクエスチョン

• RQ1 O(n^{6/5}) ではなく O(n) のランダム観測で低ランク行列再構築が達成可能か？
• RQ2 観測要素数と達成可能な再構築誤差との間の根本的トレードオフは何か？
• RQ3 ローカルサーチアルゴリズムは、核ノルム最小化のような凸緩和法よりも計算効率に優れるか？
• RQ4 ローカルサーチアルゴリズムの性能は行列サイズやランクに対してどのようにスケーリングするか？
• RQ5 実用的アルゴリズムの性能と最尤推定の理論的下界との間にギャップはあるか？

主な発見

• ランク r の n×n 行列は、O(n) 個のランダムな要素で再構築可能であり、誤差境界は Δ + 2r·ε⁻¹/²·log(10ε̃) で与えられる。ここで ε̃ = ε/((1+α)r) である。
• WalkRank アルゴリズムは、理論的最尤下界に非常に近い再構築誤差を達成しており、列／行あたり1〜2個の追加要素で十分である。
• アルゴリズムは効率的にスケーリングされ、n·Poly(log n) のオペレーションで実現可能であり、大規模な行列補完が可能である。
• シミュレーションでは、2桁のスケールにわたり行列サイズ n にほとんど依存しない再構築誤差が得られ、ε の増加に伴い急速に減少する。
• 実世界のデータ（例：Netflix）では、フィット誤差と予測誤差が時間経過とともに減少し、実データがランダムな低ランク行列と i.i.d. ノイズの間にあることを示している。
• 特に n が大きく r が小さい場合に顕著に、凸緩和法よりも計算効率に優れながら、近似的に最適な精度を維持している。