[論文レビュー] Stable rank one matrix completion is solved by two rounds of semidefinite programming relaxation

Augustin Cosse, Laurent Demanet|arXiv (Cornell University)|Dec 31, 2017

Sparse and Compressive Sensing Techniques参考文献 45被引用数 3

ひとこと要約

本稿では、O(m + n) 個の観測エントリから、トレースノルム最小化を用いた2ラウンドの半定値計画法の緩和を提案し、一意なランク1行列を決定的に回復することを保証する。ノイズが存在する状況でも、Lipschitz安定性を確保し、制約の多項式イデアルから導かれる和の平方（SOS）多項式を用いて双対証明を構築する。観測エントリの二部グラフが連結であれば、正確な回復が達成される。

ABSTRACT

This paper studies the problem of deterministic rank-one matrix completion. It is known that the simplest semidefinite programming relaxation, involving minimization of the nuclear norm, does not in general return the solution for this problem. In this paper, we show that in every instance where the problem has a unique solution, one can provably recover the original matrix through two rounds of semidefinite programming relaxation with minimization of the trace norm. We further show that the solution of the proposed semidefinite program is Lipschitz-stable with respect to perturbations of the observed entries, unlike more basic algorithms such as nonlinear propagation or ridge regression. Our proof is based on recursively building a certificate of optimality corresponding to a dual sum-of-squares (SOS) polynomial. This SOS polynomial is built from the polynomial ideal generated by the completion constraints and the monomials provided by the minimization of the trace. The proposed relaxation fits in the framework of the Lasserre hierarchy, albeit with the key addition of the trace objective function. We further show how to represent and manipulate the moment tensor in favorable complexity by means of a hierarchical low-rank decomposition.

研究の動機と目的

• ノイズ下でのランク1行列補完における決定的安定性推定の欠如に対処すること。
• 解が一意である場合に、決定的に安定かつ正確に回復できるアルゴリズムを開発すること。
• 決定的設定下で核ノルム最小化が真のランク1行列を回復できない問題を克服すること。
• 最適性を証明するための、和の平方（SOS）多項式とモーメントテンソル分解に基づくフレームワークを確立すること。

提案手法

• 元のランク1行列を回復するために、トレースノルム最小化を用いた2ラウンドの半定値計画法の緩和を提案する。
• 完成制約の多項式イデアルとトレース最小化のモーメントから導かれる和の平方（SOS）多項式を用いて、双対証明を構築する。
• モーメントテンソルの階層的低ランク分解を用いることで、望ましい計算複雑性を維持する。
• 回復保証を強化するために、トレース目的関数を追加したラッセールの階層フレームワークを採用する。
• モーメント行列の低ランク因子分解に対する連鎖律を用いて勾配更新を導出し、計算を効率化する。
• 緩和次数 t に対して、元の制約に次数 t−deg(hj) までのモーメントを乗じることで、高次元のアフィン制約を適用する。

実験結果

リサーチクエスチョン

• RQ1 トレースノルム最小化を用いた2ラウンドの半定値計画法の緩和は、O(m + n) 個の観測エントリから一意なランク1行列を決定的に回復できるか？
• RQ2 本手法は、非線形伝播やリッジ回帰とは異なり、観測エントリの摂動に対してLipschitz安定性を確保するか？
• RQ3 ランク1行列補完における最適性を検証するための双対証明として、和の平方（SOS）多項式を構築できるか？
• RQ4 高次元設定において、低ランク構造を用いてモーメントテンソルを効率的に表現・操作する方法は何か？
• RQ5 観測パターン（例：二部グラフの連結性）にどのような条件が、一意的かつ安定的な回復を保証するか？

主な発見

• 提案された2ラウンドSDP緩和とトレースノルム最小化により、解が存在しかつ一意である限り、一意なランク1行列が決定的に回復される。
• 観測エントリの摂動に対して解がLipschitz安定であるため、ノイズに対してロバストである。
• 双対証明は、制約の多項式イデアルとトレース最小化項から導かれる和の平方（SOS）多項式を用いて構築される。
• 観測エントリの二部グラフが連結である場合、補題1により正確な回復が保証される。
• 階層的低ランク分解を用いることで、モーメントテンソルが効率的に表現・操作され、計算複雑性が低減される。
• 本手法はラッセールの階層フレームワークに適合しつつ、トレース目的関数を組み込むことで回復性能が向上する。