[論文レビュー] First-Order Primal-Dual Method for Nonlinear Convex Cone Programming

Lei Zhao, Daoli Zhu|arXiv (Cornell University)|Dec 31, 2017

Sparse and Compressive Sensing Techniques参考文献 76被引用数 3

ひとこと要約

本稿では、滑らかまたは滑らかでない目的関数および制約を伴う非線形凸錐プログラミング（NCCP）のための、一階級のプライマル・デュアルアルゴリズムとして、バリアント補助問題原理（VAPP）を提案する。増分ラグランジュの枠組みにおいて線形化と可変距離関数を組み合わせることで、一般の凸ケースではプライマル劣最適性、実行可能性、デュアル劣最適性についてO(1/t)の収束速度を達成し、強い凸性のもとではO(1/t²)の収束速度を達成する。誤差境界条件は検証可能であり、前方後方分割法（Forward-Backward Splitting）との関連性も示す。

ABSTRACT

Nonlinear Convex Cone Programming (NCCP) problems are important and have many practical applications. In this paper, we introduces a flexible first-order primal-dual algorithm called the Variant Auxiliary Problem Principle (VAPP) for solving NCCP problems when the objective function and constraints are smooth and may be nonsmooth. Each iteration of VAPP generates a nonlinear approximation to the primal problem of an augmented Lagrangian method. The approximation incorporates both linearization and a variable distance-like function, and then the iterations of VAPP provide one decomposition property for NCCP. Motivated by recent applications in big data analysis, there has been an explosive growth in interest in the convergence rate analysis of parallel computing algorithms for large scale optimization problem. This paper proposes an iteration-based error bound and linear convergence of VAPP. Some verifiable sufficient conditions of this error bound are also discussed. For the general convex case (without error bound), we establish $O(1/t)$ convergence rate for primal suboptimality, feasibility and dual suboptimality. By adaptively setting in parameters at different iterations, we show an $O(1/t^2)$ rate for the strongly convex case. We further present Forward-Backward Splitting (FBS) formulation of VAPP method and establish the connection between VAPP and other primal-dual splitting methods. Finally, we discuss some issues in the implementation of VAPP.

研究の動機と目的

• 滑らかでない成分を含む非線形凸錐プログラミング（NCCP）問題を効率的に解くための柔軟な一階級プライマル・デュアルアルゴリズムの開発。
• 一般凸ケースにおけるプライマル劣最適性、実行可能性、デュアル劣最適性の収束速度の確立。
• 適応的パラメータ選択により、強い凸性のもとでO(1/t²)の改善収束速度を達成すること。
• 反復ベースの誤差境界が線形収束を保証するための検証可能な十分条件の提供。
• VAPPと他のプライマル・デュアル分割法、特に前方後方分割法（FBS）との関連の確立。

提案手法

• VAPPは、線形化と可変距離関数を用いた非線形近似を増分ラグランジュに適用し、NCCP問題の分解を可能にする。
• 各反復において、プライマル変数とデュアル乗数を含む正則化された部分問題を最小化する。一般距離関数D(u, u^k)とデュアル変数へのペナルティ項を用いる。
• パラメータε^kを制御することで降下性を保証するバックトラッキング戦略を採用。ε^kはβ / (B_G + B_Ω + γτ²)で有界に保たれ、収束を維持する。
• 反復値の重み付き平均(ū_t, p̄_t)を解の推定に用い、一般距離関数における降下不等式を用いて収束速度を導出する。
• 適切なパrameter化のもとで、アルゴリズムは前方後方分割法（FBS）の形式と等価であることが示され、既存のプライマル・デュアル分割フレームワークと結びつく。
• 実装上の考慮事項には、適応的パラメータ設定と、制約の満たしを保証するためのデュアル実行可能性射影演算子Π(·)の使用が含まれる。

実験結果

リサーチクエスチョン

• RQ1 一階級プライマル・デュアル法は、滑らかでない目的関数および制約を伴うNCCP問題に対してO(1/t)の収束を達成できるか？
• RQ2 VAPPフレームワークにおいて、反復ベースの誤差境界が線形収束を保証するための条件は何か？
• RQ3 VAPP法はどのようにして強い凸性のもとでO(1/t²)の収束速度を達成できるか？
• RQ4 VAPPと前方後方分割法（FBS）などの既存のプライマル・デュアル分割法との関係は何か？
• RQ5 線形収束を導く誤差境界の存在を保証する検証可能な十分条件は何か？

主な発見

• 標準的な仮定のもとで、一般凸ケースにおいてVAPPアルゴリズムはプライマル劣最適性、実行可能性、デュアル劣最適性についてO(1/t)の収束速度を達成する。
• 強い凸性のもとでは、適応的パラメータ選択により、同一の収束指標についてO(1/t²)の改善収束速度が得られる。
• 反復ベースの誤差境界条件が確立され、この境界のための検証可能な十分条件が提示され、適切なパラメータ制御のもとで線形収束が保証される。
• VAPP法は前方後方分割法（FBS）の形式と等価であることが示され、よく知られたプライマル・デュアル分割アルゴリズムのクラスと結びつく。
• 一般距離関数D(u, u^k) + (ε^k / 2γ) ||p - p^k||²に関する降下不等式が証明され、収束性および収束速度解析の根拠となる。
• 仮定1および2のもとで、アルゴリズムは有界であり、増分ラグランジュの鞍点(u*, p*)にグローバルに収束する。