[論文レビュー] Extended Gauss-Newton and Gauss-Newton-ADMM Algorithms for Low-Rank Matrix Optimization

Quoc Tran-Dinh, Zheqi Zhang|arXiv (Cornell University)|Jun 10, 2016

Sparse and Compressive Sensing Techniques参考文献 37被引用数 4

ひとこと要約

本稿では、非凸低ランク行列最適化のための拡張されたガウス・ニュートン（GN）フレームワークとGN-ADMMアルゴリズムを提案する。スラグレート関数と閉形式のニュートン方向を活用することで、グローバルおよびローカル収束を達成する。この手法は、標準ADMMよりも精度に優れ、変数リフトなしでは失敗する対称的低ランク問題に対しても対応可能である。

ABSTRACT

We develop a generic Gauss-Newton (GN) framework for solving a class of nonconvex optimization problems involving low-rank matrix variables. As opposed to standard Gauss-Newton method, our framework allows one to handle general smooth convex cost function via its surrogate. The main complexity-per-iteration consists of the inverse of two rank-size matrices and at most six small matrix multiplications to compute a closed form Gauss-Newton direction, and a backtracking linesearch. We show, under mild conditions, that the proposed algorithm globally and locally converges to a stationary point of the original nonconvex problem. We also show empirically that the Gauss-Newton algorithm achieves much higher accurate solutions compared to the well studied alternating direction method (ADM). Then, we specify our Gauss-Newton framework to handle the symmetric case and prove its convergence, where ADM is not applicable without lifting variables. Next, we incorporate our Gauss-Newton scheme into the alternating direction method of multipliers (ADMM) to design a GN-ADMM algorithm for solving the low-rank optimization problem. We prove that, under mild conditions and a proper choice of the penalty parameter, our GN-ADMM globally converges to a stationary point of the original problem. Finally, we apply our algorithms to solve several problems in practice such as low-rank approximation, matrix completion, robust low-rank matrix recovery, and matrix recovery in quantum tomography. The numerical experiments provide encouraging results to motivate the use of nonconvex optimization.

研究の動機と目的

• 一般の滑らかで凸な目的関数を扱える、非凸低ランク行列最適化のための汎用的ガウス・ニュートンフレームワークの開発。
• 標準ガウス・ニュートンやADMMが対称的かつ非凸な設定で抱える制限を克服し、ややきつい条件下でも停留在点への収束を可能にする。
• 適切なペナルティパラメータの選択により、グローバル収束を保証するGN-ADMMの変種を設計する。
• 低ランク近似、行列補完、ロバスト回復、量子トモグラフィーの各分野において、提案手法の実験的妥当性を検証する。
• 古典的ADMMに比べ、提案アルゴリズムによる非凸最適化の優位性を示す。

提案手法

• フレームワークは一般の滑らかで凸な目的関数を扱うためにスラグレート関数を用い、非凸設定下でもガウス・ニュートン更新を可能にする。
• 各反復で、2つのランクサイズ行列の逆行列と最大6回の小規模行列乗算を用いて、閉形式のガウス・ニュートン方向を計算する。
• 各ステップで目的関数の十分な減少を保証するためにバックトラッキングラインサーチを採用する。
• 対称的問題のため、フレームワークは対称性を維持するように特殊化され、変数リフトなしでは標準ADMMが失敗する状況でも収束を保証する。
• GN-ADMMアルゴリズムは、ガウス・ニュートンステップをADMMの交互更新構造に統合し、制約を強制するためのペナルティパラメータを用いる。
• ややきつい条件下でも収束が保証され、特にGN-ADMMにおけるペナルティパラメータの適切な選択が重要である。

実験結果

リサーチクエスチョン

• RQ1 非凸低ランク行列最適化において、一般の滑らかで凸な目的関数を扱えるようにガウス・ニュートンフレームワークを拡張できるか？
• RQ2 提案されたGN法は、ややきつい条件下でもグローバルおよびローカル収束を停留在点へと達成できるか？
• RQ3 GNアプローチをADMMと効果的に組み合わせ、グローバル収束の保証があるGN-ADMMアルゴリズムを構築できるか？
• RQ4 低ランク問題における解の精度と収束性について、GNおよびGN-ADMMは標準ADMMに比べてどのように性能を発揮するか？
• RQ5 標準ADMMが変数リフトなしでは適用不可能な状況において、提案されたアルゴリズムは対称的低ランク問題を適切に処理できるか？

主な発見

• 提案されたガウス・ニュートンフレームワークは、ややきつい条件下で非凸問題の停留在点へのグローバルおよびローカル収束を達成する。
• アルゴリズムは、よく知られた交替方向法（ADM）に比べ、顕著に高い解の精度を達成する。
• ペナルティパラメータを適切に選択すれば、GN-ADMMアルゴリズムはグローバルに停留在点へ収束する。
• 本手法は、変数リフトなしでは標準ADMMが失敗する対称的低ランク問題に対しても有効である。
• 低ランク近似、行列補完、ロバスト回復、量子トモグラフィーにおける数値実験から、前向きな結果が得られた。
• 実験的結果から、古典的凸緩和手法に比べ、提案されたアルゴリズムによる非凸最適化の有効性が示唆される。