[論文レビュー] Fast Alternating Linearization Methods for Minimizing the Sum of Two Convex Functions

Donald Goldfarb, Shiqian Ma+1 more|arXiv (Cornell University)|Dec 23, 2009

Advanced Optimization Algorithms Research被引用数 21

ひとこと要約

本稿では、2つの凸関数の和を最小化するための高速逐次線形化法（FALM）を提案する。この手法は、交互方向増大ラグランジュフレームワークを用い、基本版ではO(1/ε)回の反復、加速版ではO(1/√ε)回の反復で収束を達成する。各反復における追加コストは最小限であり、圧縮センシング、行列補完、ロバストPCAといった問題において、強力な収束性と実用的な効率性を示している。

ABSTRACT

We present in this paper first-order alternating linearization algorithms based on an alternating direction augmented Lagrangian approach for minimizing the sum of two convex functions. Our basic methods require at most $O(1/ε)$ iterations to obtain an $ε$-optimal solution, while our accelerated (i.e., fast) versions of them require at most $O(1/\sqrtε)$ iterations, with little change in the computational effort required at each iteration. For both types of methods, we present one algorithm that requires both functions to be smooth with Lipschitz continuous gradients and one algorithm that needs only one of the functions to be so. Algorithms in this paper are Gauss-Seidel type methods, in contrast to the ones proposed by Goldfarb and Ma in [21] where the algorithms are Jacobi type methods. Numerical results are reported to support our theoretical conclusions and demonstrate the practical potential of our algorithms.

研究の動機と目的

• 2つの凸関数の和を含む大規模凸最適化問題を効率的に解くための一次元法の必要性に対応する。
• 標準的一次元法よりも顕著に収束速度を向上させる一方で、各反復コストを低く保つアルゴリズムの開発。
• 基本版および加速版の両方に対して、反復複雑度の上限を保証する理論的収束保証の提供。
• 圧縮センシング、ロバストPCA、スparser逆共分散選択といった実世界問題への実用的応用の実現。
• ジャコビ型手法よりも収束速度と計算効率に優れるガウス＝ザイデル型の手法の設計。

提案手法

• f(x) + g(x)の最小化を、fとgそれぞれの部分問題に分解するための、交互方向増大ラグランジュフレームワークを提案する。
• 2つのバリアントを導入：1つはfとgの両方がリプシッツ連続勾配を持つ場合、もう1つは片方のみが滑らかである場合。
• 変数を同時にではなく逐次に更新するガウス＝ザイデル型の更新を適用し、収束速度を向上させる。
• ネステロフ型加速技術を統合し、加速版でO(1/√ε)の反復複雑度を達成する。
• 各部分問題（1.2）および（1.3）が計算的に扱いやすく保たれることを保証し、勾配評価または単純なソフトしきい値処理のみを要する。
• 非滑ららかまたは制約付き設定（例：スパース逆共分散選択）においても、線分探索または近接制約を用いて妥当性を維持する。

実験結果

リサーチクエスチョン

• RQ1 各反復コストを増加させることなく、凸関数の和問題に対してO(1/√ε)の収束を達成する一次元法の加速は可能か？
• RQ2 ガウス＝ザイデル更新戦略は、ジャコビ型手法と比較して収束速度と安定性においてどのように異なるか？
• RQ3 滑らかでない、または強く凸でない成分を含む問題に適用した場合、逐次線形化法の理論的反復複雑度は何か？
• RQ4 提案手法は、大きな汚染を含むロバストPCAや行列補完問題に効果的に応用可能か？
• RQ5 特に悪条件や非滑らか設定において、ISTA や ALM などの最先端ソルバーと比較して、実用的性能はいかがなっているか？

主な発見

• 基本版FALMは、ε最適解を求めるためにO(1/ε)の反復複雑度を達成し、標準的一次元法と同等の理論的性能を示すが、実用的性能が優れている。
• 加速版FALMはO(1/√ε)の反復複雑度を達成し、反復コストのわずかな増加で収束速度が顕著に向上する。
• 画像のぼかし除去、監視映像からの背景抽出、および重度に汚染されたデータを含む行列補完問題における数値実験により、手法の効率性とロバスト性が確認された。
• スパース逆共分散選択（SICS）問題において、FALMはISTAを上回り、勾配のリプシッツ定数が大きい場合でも妥当性を維持する。これは増大ラグランジュフレームワークのおかげである。
• f(x)がグローバルにリプシッツ連続勾配を持たない場合でも、SICSの応用例で示されるように、制約付き定義域においても手法は有効である。
• 核ノルムやℓ1正則化を含むすべてのテスト問題において、部分問題（1.2）および（1.3）はソフトしきい値処理やSVDを用いて効率的に解けるため、各反復コストは低く保たれる。