[論文レビュー] Auxiliary Problem Principle of augmented Lagrangian with Varying Core Functions for Large-Scale Structured Convex Problems

Lei Zhao, Daoli Zhu+1 more|arXiv (Cornell University)|Dec 14, 2015

Sparse and Compressive Sensing Techniques参考文献 48被引用数 4

ひとこと要約

本稿では、増強ラグランジュ法における補助問題の原則（VAPP-AL）を提案し、反復ごとにコア関数を変化させることで、非分離目的関数および多ブロック結合制約を有する大規模構造的凸最適化問題に対する柔軟性を向上させる、新しいフレームワークを提示する。この手法は、O(1/t) の収束速度を保証し、二次コア関数では o(1/t) にまで向上する。これにより、非分離目的関数および多ブロック結合制約を有する問題において、並列的・分散的計算が効率的に行える。

ABSTRACT

The auxiliary problem principle of augmented Lagrangian (APP-AL), proposed by Cohen and Zhu (1984), aims to find the solution of a constrained optimization problem through a sequence of auxiliary problems involving augmented Lagrangian. The merits of this approach are two folds. First, the core function is usually separable, which makes the subproblems at each step decomposable and particularly attractive for parallel computing. Second, the choice of the core function is quite flexible. Consequently, by carefully specifying this function, APP-AL may reduce to some standard optimization algorithms. In this paper, we pursue enhancing such flexibility by allowing the core function to be non-identical at each step of the algorithm, and name it varying auxiliary problem principle (VAPP-AL). Depending on the problem structure, the varying core functions in VAPP-AL can be adapted to design new flexible and suitable algorithm for parallel and distributed computing. The convergence and O(1/t) convergence rate of VAPP-AL for convex problem with coupling objective and constraints is proved. Moreover, if this function is specialized to be quadratic, an o(1/t) convergence rate can be established. Interestingly, the new VAPP framework can cover several variants of Jacobian type augmented Lagrangian decomposition methods as special cases. Furthermore, our technique works for the convex problem with nonseparable objective and multi-blocks coupled linear constraints, which usually can not be handled by ADMM.

研究の動機と目的

• 非分離目的関数および多ブロック結合制約を有する大規模で構造的な凸最適化問題を扱う際に、固定コア関数を用いる従来の補助問題原則（APP-AL）の限界を克服すること。
• 反復ごとに補助問題におけるコア関数を変化させることで、アルゴリズムの柔軟性を高め、問題構造への適応性を向上させること。
• やや弱い仮定の下で、提案された VAPP-AL フレームワークの収束性および収束速度の保証を確立すること。
• VAPP-AL が、ADMM の変種を含む既存の手法を一般化・統一できることを示すこと。

提案手法

• 標準的な APP-AL とは異なり、反復ごとにコア関数を変化させることを許容する新しいアルゴリズムフレームワーク VAPP-AL を提案する。
• 時間的に変化するコア関数 $ K^k(u) $ を用いた Bregman 距離正則化項を導入し、増強ラグランジュを線形化し、部分問題の分解可能性を保証する。
• 増強ラグランジュ法に準拠した双対更新則 $ p^{k+1} = p^k + ho (A u^{k+1} - b) $ を採用するが、反復に応じて正則化項を変化させる修正された増強ラグランジュを用いて部分問題を解く。
• 収束解析に Lyapunov に類似した関数 $ ilde{ heta}^k $ を導入し、$ G $ のヘッセ行列、行列 $ A $、および $ ho $ と $ ho $ の選択の性質を活用する。
• 収束性を、$ ilde{ heta}^{k+1} - ilde{ heta}^k $ を含む降下不等式によって確立し、列が有界であり、差が $ O(1/t) $ の速度で減少することを示す。
• コア関数が二次関数の場合、ヘッセ行列のタイトな制御とパrameter 選択により、収束速度が $ o(1/t) $ に向上することを示す。

実験結果

リサーチクエスチョン

• RQ1 補助問題原則におけるコア関数の柔軟性を、反復ごとに変化させることで向上させることは可能か？
• RQ2 VAPP-AL フレームワークは、非分離目的関数および多ブロック結合制約を有する凸問題に対し、収束性を保ち、保証された収束速度を達成するか？
• RQ3 VAPP-AL は、ADMM の変種やヤコビ型分解法などの既存手法を回復または一般化できるか？
• RQ4 VAPP-AL の収束速度は何か？ また、コア関数を二次関数に特化させると、速度が向上するか？
• RQ5 変化するコア関数の選択が、大規模並列・分散環境における収束行動および反復複雑度に与える影響は何か？

主な発見

• コア関数のヘッセ行列および制約行列に対するやや弱い仮定の下で、VAPP-AL は非分離目的関数および多ブロック結合線形制約を有する凸問題に対して、グローバル収束を保証する。
• アルゴリズムは、エルゴディックおよび非エルゴディック両方の意味で $ O(1/t) $ の収束速度を達成し、部分最適性ギャップがこの速度で減少する。
• コア関数が二次関数に特化されている場合、収束速度は $ o(1/t) $ に向上し、一般ケースよりも高速な収束を示す。
• 反復ごとにコア関数を変化させることで、ヤコビ型 ADMM 変種など、既存の複数の手法を一般化・統一する。
• 収束解析は、最適性ギャップの減少を追跡する Lyapunov 関数に依存し、その差は $ ar{H} $ と $ ho $ を含む負定値二次形式によって有界に保たれる。
• 非分離問題に対しても、分解可能な正則化を介して部分問題が分解可能であるため、効率的な並列的・分散的計算が可能になる。