[論文レビュー] Nonconvex Generalization of ADMM for Nonlinear Equality Constrained Problems

Junxiang Wang, Liang Zhao|arXiv (Cornell University)|May 9, 2017

Sparse and Compressive Sensing Techniques参考文献 41被引用数 16

ひとこと要約

本稿では、非線形等式制約付き最適化問題を解くための新しい汎用ADMMフレームワークneADMMを提案する。変分不等式フレームワークを活用して収束性とサブ線形レートの保証を確立する。適応的ペナルティ更新戦略を導入し、行列補完やスパース学習など多様な応用分野で有効性を示す。

ABSTRACT

The growing demand on efficient and distributed optimization algorithms for large-scale data stimulates the popularity of Alternative Direction Methods of Multipliers (ADMM) in numerous areas, such as compressive sensing, matrix completion, and sparse feature learning. While linear equality constrained problems have been extensively explored to be solved by ADMM, there lacks a generic framework for ADMM to solve problems with nonlinear equality constraints, which are common in practical application (e.g., orthogonality constraints). To address this problem, in this paper, we proposed a new generic ADMM framework for handling nonlinear equality constraints, called neADMM. First, we propose the generalized problem formulation and systematically provide the sufficient condition for the convergence of neADMM. Second, we prove a sublinear convergence rate based on variational inequality framework and also provide an novel accelerated strategy on the update of the penalty parameter. In addition, several practical applications under the generic framework of neADMM are provided. Experimental results on several applications demonstrate the usefulness of our neADMM.

研究の動機と目的

• 実用的応用例として直交制約などに見られる非線形等式制約付き問題に適用可能な汎用ADMMフレームワークの欠如に対処する。
• ADMMを非線形等式制約に拡張できる一般化された問題定式化を確立する。
• 提案されたneADMMアルゴリズムの収束に対する十分条件を提供する。
• 変分不等式フレームワークを用いてサブ線形収束レートを証明する。
• 収束性能を向上させるために、ラインサーチを必要としないペナルティパラメータの加速的更新戦略を開発する。

提案手法

• 非線形等式制約をADMMフレームワークに組み込む一般化された最適化定式化を提案する。
• 変分不等式に基づく解析を導入し、neADMMの収束に対する十分条件を導出する。
• 変分不等式フレームワークを用いて、アルゴリズムのサブ線形収束レートO(1/k)を確立する。
• ラインサーチを必要とせず収束を加速する、適応的ペナルティパラメータ更新戦略を設計する。
• 標準ADMM更新ステップにペナルティ更新ルールを統合し、収束性を維持しながら実用的性能を向上させる。
• ADMMの分解可能性を保つことで、大規模および分散最適化に応用可能であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 線形の場合を超えて非線形等式制約を扱える汎用ADMMフレームワークを開発することは可能か？
• RQ2 非線形制約付き問題にADMMを適用した場合、収束を保証する十分条件は何か？
• RQ3 非線形制約下で提案されたneADMMの理論的収束レートは何か？
• RQ4 収束保証を損なわずに、収束速度を向上させるためにペナルティパラメータをどのように適応的に更新できるか？
• RQ5 直交性や低ランク制約を含む非線形制約を伴う実用的応用において、neADMMはどのように性能を発揮するか？

主な発見

• neADMMフレームワークは、ADMMを用いた非線形等式制約付き最適化問題の一般的かつ体系的なアプローチを提供する。
• 理論的解析により、変分不等式理論から導かれた十分条件の下で収束が保証される。
• O(1/k)のサブ線形収束レートが確立され、反復回数を増やすにつれて誤差が減少するグローバル収束を示す。
• 提案された適応的ペナルティ更新戦略は、固定値またはヒューリスティックな更新と比較して、実用的な収束速度を顕著に向上させる。
• 行列補完やスパース特徴学習を含む応用における実験結果から、neADMMの有効性と頑健性が示された。
• 信号処理や機械学習で生じる非線形制約を伴う多様な現実世界の問題に、このフレームワークは適用可能である。