[論文レビュー] A Conditional Gradient-Based Augmented Lagrangian Framework

Alp Yurtsever, Olivier Fercoq+1 more|arXiv (Cornell University)|Jan 13, 2019

Sparse and Compressive Sensing Techniques参考文献 24被引用数 10

ひとこと要約

本稿では、コンpactな定義域上でのアフィン制約付き凸最適化のための、条件付き勾配に基づく増大ラグランジュフレームワーク（CGAL）を提案する。滑らかさ化と増大ラグランジュ手法を組み合わせることで、効率的でスパースかつスケーラブルな解法を実現する。CGALは、目的関数の残差と実行可能性ギャップの両方において$Ó(1/\sqrt{k})$の収束速度を達成し、実験的性能は既存手法を著しく上回る。特に、半正定値計画（SDP）の応用では実際には$Ó(1/k)$の収束が観察される。

ABSTRACT

This paper considers a generic convex minimization template with affine constraints over a compact domain, which covers key semidefinite programming applications. The existing conditional gradient methods either do not apply to our template or are too slow in practice. To this end, we propose a new conditional gradient method, based on a unified treatment of smoothing and augmented Lagrangian frameworks. The proposed method maintains favorable properties of the classical conditional gradient method, such as cheap linear minimization oracle calls and sparse representation of the decision variable. We prove $\mathcal{O}(1/\sqrt{k})$ convergence rate of our method in the objective residual and the feasibility gap. This rate is essentially the same as the state of the art CG-type methods for our problem template, but the proposed method is significantly superior to existing methods in various semidefinite programming applications.

研究の動機と目的

• 既存の条件付き勾配法がアフィン制約と非滑らか項を伴う凸最小化問題を解く際の限界を克服すること。
• 線形最小化オракル（lmo）の計算的利点を保ちながら、強力な収束保証を有するスケーラブルな一階法を開発すること。
• 滑らかさ化と増大ラグランジュフレームワークを統合し、特に半正定値計画（SDP）を含む構造的凸問題に対して、単一で効率的なアルゴリズムを構築すること。
• 理論的収束速度を損なわずに実用的性能を向上させる、適応的双対ステップサイズルールを導出すること。
• 提案手法がHCGM や UPD といった最先端手法を、主な半正定値計画（SDP）応用において実験的に上回ることを示すこと。

提案手法

• 非滑らか項およびアフィン制約項を扱う最適化テンプレートにおいて、ネステロフの滑らかさ化と増大ラグランジュ定式化を組み合わせる。
• スパースな反復を維持し、高価な近位オラクルを回避するために、線形最小化オラクル（lmo）を用いることで、SDPなどの大規模問題へのスケーラビリティを実現する。
• 双対変数の更新には、現在の反復点を中心にした二次ペナルティを用い、動的双対ステップサイズルールにより問題の幾何構造に適応する。
• 収束速度の導出と、部分最適性と実行可能性ギャップの解釈可能なバインディングのための統一的分析フレームワークを構築する。
• 理論的収束を保ちながら実用的性能を向上させる明示的かつ適応的な双対ステップサイズルールを実装可能に設計する。
• 統一された問題テンプレートを介して、SDP、一般化固有ベクトル問題、行列回復タスクなど、広範な問題クラスにフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 線形最小化オラクルの効率性を保ちながら、アフィン制約と非滑らか項を扱えるように、条件付き勾配法を拡張することは可能か？
• RQ2 滑らかさ化と増大ラグランジュフレームワークを統合することで、既存のCG型手法よりも高速な収束と優れた実験的性能が達成できるか？
• RQ3 理論的収束速度を損なわずに、半正定値計画における実用的性能を向上させる適応的双対ステップサイズルールを導出可能か？
• RQ4 大規模SDP問題において、HCGM や UPD といった最先端手法と比較して、本手法の性能はいかがなものか？
• RQ5 構造的問題（例：SDP）において、lmo が低ランク解や極値点解への収束をどのように駆動しているか？

主な発見

• 提案されたCGAL手法は、目的関数の残差と実行可能性ギャップの両方において、CG型手法の理論的最良水準に一致する$Ó(1/\sqrt{k})$の収束速度を達成する。
• 実験的に、CGALは主なSDP問題において目的関数の残差と実行可能性ギャップの両方で$Ó(1/k)$の収束を示し、HCGM や UPD を著しく上回る。
• 一般化固有ベクトル問題において、CGALのlmo出力は極値点に線形収束する。これは、問題幾何構造への効果的な適応を示している。
• Gaussian、多項式減衰、指数減衰行列構造を有するSDPインスタンスを含め、複数のSDPインスタンスにおいて、CGALはHCGM や UPD を上回る性能を示す。
• 良好に条件付けられたSDP問題において、CGALのlmo出力は速やかにランク1解に収束し、極値点収束の理論的期待と整合する。
• 分析から導出された適応的双対ステップサイズルールは、理論的収束保証を損なわずに実用的性能を向上させる。