[論文レビュー] Non-Convex Matrix Completion Against a Semi-Random Adversary

Yu Cheng, Rong Ge|arXiv (Cornell University)|Mar 28, 2018

Computability, Logic, AI Algorithms参考文献 37被引用数 6

ひとこと要約

本稿は、各エントリの観測確率が少なくとも $ p $ である半確率的観測モデルにおける非凸行列補完のロバスト性を検討する。この設定は、既存の非凸アルゴリズムが破綻する場合を含む。本稿では、入力を均一な確率的サンプリングに類似した形に変換する、ほぼ線形時間の事前処理による再重み付け手順を提案し、非凸目的関数のすべての局所最適解が高確率で正確な低ランク行列回復を達成することを保証する。

ABSTRACT

Matrix completion is a well-studied problem with many machine learning applications. In practice, the problem is often solved by non-convex optimization algorithms. However, the current theoretical analysis for non-convex algorithms relies heavily on the assumption that every entry is observed with exactly the same probability $p$, which is not realistic in practice. In this paper, we investigate a more realistic semi-random model, where the probability of observing each entry is at least $p$. Even with this mild semi-random perturbation, we can construct counter-examples where existing non-convex algorithms get stuck in bad local optima. In light of the negative results, we propose a pre-processing step that tries to re-weight the semi-random input, so that it becomes "similar" to a random input. We give a nearly-linear time algorithm for this problem, and show that after our pre-processing, all the local minima of the non-convex objective can be used to approximately recover the underlying ground-truth matrix.

研究の動機と目的

• 各エントリが少なくとも $ p $ の確率で観測されるという、均一なサンプリングよりも現実的である半確率的観測モデル下でも、非凸行列補完アルゴリズムが有効に機能するかどうかを調査すること。
• 標準的な非凸アルゴリズムが、このような半確率的摂動下で、悪い局所最適解に陥る可能性があるため、その失敗を示すこと。
• 最適化の多様性が均一な確率的サンプリングと同等になるように、観測エントリを再重み付けする事前処理アルゴリズムを設計すること。
• 再重み付け後、非凸目的関数のすべての局所最適解が、真の低ランク行列 $ M^\star $ の近似回復を達成することを証明すること。

提案手法

• 各エントリがまず確率 $ p $ で一様にサンプリングされ、その後アドバーシャリーが $ M^\star $ と現在の観測エントリに基づいて追加の観測を追加する半確率的モデルを導入する。
• 観測エントリを再重み付けするためのエントリ固有の重みを計算する事前処理ステップを提案し、半確率的入力を均一な確率的サンプリングに類似した形に変換する。
• 再重み付け行列 $ W $ をほぼ線形時間で計算するアルゴリズムを用い、計算効率を確保する。
• 再重み付けされた非凸目的関数 $ \sum_{(i,j)\in\Omega} w_{ij} ( (UV^\top)_{ij} - M^\star_{ij} )^2 $ を定義する。ここで $ w_{ij} $ は計算された重みである。
• 再重み付けされた目的関数のヘッセ行列および勾配構造を分析し、弱い仮定の下ですべての局所最適解が真の行列に近いことを証明する。
• 行列濃度および摂動バウンドを用いて、再重み付けされた問題が均一な場合と同様の幾何的性質（例：悪い局所最適解なし）を継承することを示す。

実験結果

リサーチクエスチョン

• RQ1 観測確率が均一ではなく、少なくとも $ p $ である場合でも、標準的な非凸行列補完アルゴリズムは真の低ランク行列を回復できるか？
• RQ2 均一なサンプリング下では強力な理論的保証を持つにもかかわらず、なぜ既存の非凸アルゴリズムは半確率的観測モデル下で失敗するのか？
• RQ3 半確率的モデルが最適化の多様性において均一モデルと同等になるような事前処理変換が存在するか？
• RQ4 再重み付けされた問題は、非凸最適化の収束保証を維持したまま、効率的に解けるか？

主な発見

• 反例により、観測確率が半確率的（つまり $ p_{ij} \geq p $）である場合でさえ、標準的な非凸アルゴリズムが悪い局所最適解に陥る可能性があることが示された。
• 提案された事前処理による再重み付け手順により、半確率的入力が、非凸目的関数に悪い局所最適解をもたない形に変換され、良い解への収束が保証される。
• 再重み付けアルゴリズムはほぼ線形時間で実行され、大規模な行列補完に実用的である。
• 再重み付け後、非凸目的関数の任意の局所最適解 $ (U,V) $ は、$ \|UV^\top - M^\star\|_F^2 \leq \epsilon \|M^\star\|_F^2 $ を満たし、高精度な回復が保証される。
• 理論的分析は、再重み付けノルム下でのヘッセ行列および勾配項のバウンドに依拠し、目的関数の幾何的性質が保持されることを示している。
• 最小観測確率が $ p $ のままであれば、攻撃的観測追加に対してもロバストである。再重み付けが非一様性を補償する。