[論文レビュー] Matrix Completion and Related Problems via Strong Duality

Maria-Florina Balcan, Yingyu Liang+2 more|arXiv (Cornell University)|Apr 27, 2017

Sparse and Compressive Sensing Techniques参考文献 63被引用数 6

ひとこと要約

本稿では、非凸行列因子分解問題の広範なクラスに対して、特定の双対条件を満たすと、ゼロの双対ギャップを保証する、新しい分析的枠組みを導入することで、強い双対性を確立した。この枠組みにより、ほぼ最適なサンプル複雑度を伴う凸緩和を用いて、行列補完とロバストPCAにおける正確な回復が可能となり、二重双対凸計画によりグローバル最適性が達成可能である。

ABSTRACT

This work studies the strong duality of non-convex matrix factorization problems: we show that under certain dual conditions, these problems and its dual have the same optimum. This has been well understood for convex optimization, but little was known for non-convex problems. We propose a novel analytical framework and show that under certain dual conditions, the optimal solution of the matrix factorization program is the same as its bi-dual and thus the global optimality of the non-convex program can be achieved by solving its bi-dual which is convex. These dual conditions are satisfied by a wide class of matrix factorization problems, although matrix factorization problems are hard to solve in full generality. This analytical framework may be of independent interest to non-convex optimization more broadly. We apply our framework to two prototypical matrix factorization problems: matrix completion and robust Principal Component Analysis (PCA). These are examples of efficiently recovering a hidden matrix given limited reliable observations of it. Our framework shows that exact recoverability and strong duality hold with nearly-optimal sample complexity guarantees for matrix completion and robust PCA.

研究の動機と目的

• 非凸行列因子分解問題に対して、強い双対性を有する統一的な分析的枠組みを構築すること。
• 非凸行列因子分解問題のグローバル最適解が、凸である二重双対問題に等しくなるような条件を確立すること。
• 提案された枠組みのもとで、行列補完とロバストPCAにおける正確な再構成を、ほぼ最適なサンプル複雑度で達成すること。
• 行列因子分解を超える応用を想定し、困難な非凸問題を凸双対性により解くための理論的基盤を提供すること。

提案手法

• 非凸問題をラグランジュ乗数行列 $\mathbf{\Lambda}$ を含むミニマックス最適化として表現する、プライマル・デュアル定式化を導入する。
• 双対問題は $\max_{\mathbf{\Lambda}} -\frac{1}{2}\|\mathbf{\Lambda}\|_r^2 - H^*(\mathbf{\Lambda})$ として導出され、ここで $\|\mathbf{\Lambda}\|_r^2$ は $r$ 個の最大の特異値の二乗和を表す。
• 二重双対問題は $\min_{\mathbf{M}} \|\mathbf{M}\|_{r*} + H(\mathbf{M})$ として定式化され、$\|\mathbf{M}\|_{r*}$ はランク $r$ に制限されたノルムの双対ノルムを表す。
• 二重双対問題の凸性を活用し、Douglas-Rachford などの近接アルゴリズムにより、$\textsf{poly}(1/\epsilon)$ の収束速度で効率的な解法が可能となる。
• 行列補完とロバストPCAへの適用では、スパース成分に対して $H(\cdot)$ を $\ell_1$-ノルム、低ランク構造に対しては恒等写像として選択する。
• サンプリングモデルのベルヌーイから一様分布への還元を用いて、異なる観測モデルにわたる回復保証を拡張する。

実験結果

リサーチクエスチョン

• RQ1 非凸行列因子分解問題において、どのような条件下で強い双対性が成立するか？
• RQ2 非凸行列因子分解問題のグローバル最適解は、その凸二重双対問題を解くことで回復可能か？
• RQ3 提案された枠組みのもとで、行列補完とロバストPCAにおける正確な回復に必要なサンプル複雑度はどの程度か？
• RQ4 この枠組みは、行列センシングや辞書学習などの他の非凸問題へどのように拡張可能か？

主な発見

• 双対条件が満たされれば、非凸行列因子分解問題において強い双対性が成立し、プライマル問題と二重双対問題の間で双対ギャップがゼロとなる。
• 非凸問題のグローバル最適解は、その凸二重双対問題の解に等しくなるため、凸緩和を用いて効率的なグローバル最適化が可能となる。
• 行列補完では、サンプル複雑度 $O(n r \log n)$ で正確な回復が達成され、情報理論的下界と対数因子を除いて一致する。
• ロバストPCAでは、ほぼ最適なサンプリング条件下で、低ランク成分とスパース成分の両方の正確な回復が保証される。
• 二重双対問題は凸であり、$\epsilon$-精度で $\textsf{poly}(1/\epsilon)$ 時間で、Douglas-Rachford などの近接アルゴリズムにより解ける。
• この枠組みは、行列センシングや深層線形ネットワークなどの他の問題へも拡張可能であり、二つの事例研究を超えた広範な適用可能性を示唆している。