[論文レビュー] A Generic online acceleration scheme for Optimization algorithms via Relaxation and Inertia

Franck Iutzeler, Julien M. Hendrickx|arXiv (Cornell University)|Mar 17, 2016

Advanced Optimization Algorithms Research参考文献 33被引用数 4

ひとこと要約

本稿では、緩和と慣性を用いた最適化アルゴリズムの汎用的オンライン加速スキームを提案する。このスキームは、演算子の局所的線形近似を用いてパラメータを自動的にチューニングする。平均化された演算子に対して収束性を確立し、lassoおよびロジスティック回帰問題における近位勾配法、ADMM、および原双対法において顕著な性能向上を示す。

ABSTRACT

We propose generic acceleration schemes for a wide class of optimization and iterative schemes based on relaxation and inertia. In particular, we introduce methods that automatically tunes the acceleration coefficients online, and establish their convergence. This is made possible by considering the class of fixed-points iterations over averaged operators which encompass gradient methods, ADMM, primal dual algorithms, an so on.

研究の動機と目的

• 固定点最適化アルゴリズムにおける緩和および慣性パラメータのチューニングという課題に取り組む。これらはしばしばヒューリスティック的または問題固有のものである。
• 勾配法、ADMM、原双対スキームを含む広範なアルゴリズムクラスに適用可能な統一的なフレームワークを構築する。
• 強い凸性などの問題固有定数の事前知識が不要な、自動的かつオンラインでの加速パラメータの適応を可能にする。
• 平均化された演算子フレームワーク下で、提案されたオンライン加速手法に対する理論的収束保証を提供する。
• 実世界の問題、例えばlassoやロジスティック回帰における標準的手法および既存の加速手法（例：Fast ADMM）に対して、実用的優位性を示す。

提案手法

• 最適化アルゴリズムを、収束解析のための単調演算子理論を活用した平均化された演算子上の固定点反復として定式化する。
• 緩和、慣性、および交互慣性の3つの加速バージョンを導入し、これらを基本アルゴリズムの外側の変更として適用する。
• オンラインパラメータチューニングのために、各反復で演算子を局所的にアフィン近似し、線形近似の固有値特性に基づいて最適な緩和／慣性パラメータを計算する。
• 平均化された演算子フレームワーク下で、オンライン手法の収束証明を導出し、アフィンケースでは線形収束レートを示す。
• 近位勾配法、ADMM、原双対アルゴリズムにこのスキームを適用するため、これらを固定点反復として表現し、加速ルールを適用する。
• lassoおよびロジスティック回帰問題にこの手法を実装・検証し、標準的手法およびFast ADMMと比較して、関数誤差およびパラメータダイナミクスを評価する。

実験結果

リサーチクエスチョン

• RQ1 緩和と慣性を、固定点アルゴリズムに向けた汎用的オンライン加速スキームとして体系的に統合できるか？
• RQ2 問題定数（例：強い凸性）の事前知識が欠如する状況で、緩和および慣性パラメータの最適選択は何か？
• RQ3 局所的線形近似によるオンラインパラメータチューニングは、多様な最適化アルゴリズムにわたって収束性と性能向上を保証するか？
• RQ4 提案されたオンライン手法は、Fast ADMMなどの既存の加速スキームと比較して収束速度およびロバスト性において優れているか？
• RQ5 近位勾配法、ADMM、原双対アルゴリズムに、最小限のアルゴリズム的変更で一貫して適用可能か？

主な発見

• 提案されたオンライン慣性法（OIM）は、lasso問題において、すべてのテスト手法の中で最も速い収束レートを達成し、標準ADMMおよびFast ADMMを著しく上回る。
• オンライン緩和法（ORM）およびオンライン交互慣性法（OAIM）は、安定的で単調なパラメータ列を示すが、Fast ADMMおよびOIMとは異なり、振動的挙動を示さない。
• lasso問題（Fa）では、OIMが50反復目までに関数誤差を10−15まで低下させるが、標準ADMMおよびリスタート付きFast ADMMはそれぞれ10−3および10−6にとどまる。
• ℓ1正則化ロジスティック回帰問題（Fb）では、OIMが50反復目までに関数誤差を10−10未満に低下させるが、標準ADMMおよびFast ADMMは10−4を超えるままである。
• オンライン加速を施した原双対アルゴリズム（OIM）は、100反復目で関数誤差10−11に達し、ADMMに限らず本手法の有効性を示している。
• 提案されたオンライン手法は、リスタート機構を必要とせず、ロバストである。これに対して、一般ケースでは収束のためのリスタートに依存するFast ADMMとは対照的である。