[論文レビュー] Online Alternating Direction Method (longer version)

Huahua Wang, Arindam Banerjee|arXiv (Cornell University)|Jun 17, 2013

Sparse and Compressive Sensing Techniques参考文献 56被引用数 45

ひとこと要約

本稿では、線形制約付きのオンライン凸最適化問題に対して、目的関数が滑らかでない場合でも効率的なオンライン最適化アルゴリズムであるオンライン交替方向乗法法（OADM）を提案する。新規の証明技法を用いて、目的関数および制約の両方についてO(1/T)の収束速度を確立し、一般関数および強い凸関数の両方に対してレグレットバウンドを導出可能である。Lasso問題や全変動問題への応用も示している。

ABSTRACT

Online optimization has emerged as powerful tool in large scale optimization. In this pa- per, we introduce efficient online optimization algorithms based on the alternating direction method (ADM), which can solve online convex optimization under linear constraints where the objective could be non-smooth. We introduce new proof techniques for ADM in the batch setting, which yields a O(1/T) convergence rate for ADM and forms the basis for regret anal- ysis in the online setting. We consider two scenarios in the online setting, based on whether an additional Bregman divergence is needed or not. In both settings, we establish regret bounds for both the objective function as well as constraints violation for general and strongly convex functions. We also consider inexact ADM updates where certain terms are linearized to yield efficient updates and show the stochastic convergence rates. In addition, we briefly discuss that online ADM can be used as projection- free online learning algorithm in some scenarios. Preliminary results are presented to illustrate the performance of the proposed algorithms.

研究の動機と目的

• バッチADMMにおける目的関数の収束速度解析が欠落しているという問題を解決すること。これはオンラインレグレット解析に不可欠である。
• 特に目的関数が非滑らかである場合を含め、線形制約下での合成目的関数に対する効率的なオンライン最適化アルゴリズムの開発。
• 一般関数および強い凸関数に適用可能な、オンライン設定における目的関数と制約違反の両方のレグレットバウンドの確立。
• 線形化を用いた不正確なADM更新を導入し、収束を維持しながら計算効率を向上。
• 線形制約付きの状況において、OADMをプロジェクションフリーなオンライン学習手法として用いる可能性の探求。

提案手法

• 線形等式制約付きの合成最適化問題を解くための単一ループ型オンラインアルゴリズムとして、オンラインADMM（OADM）を提案。
• バッチADMM設定における目的関数のO(1/T)収束速度を確立するため、変分不等式に基づく新規な証明技法を導入。
• バッチ設定での収束速度を活用し、オンライン設定における目的関数と制約違反の両方のレグレットバウンドを導出。
• 特にx更新において、ADMMの部分問題の一部の項を線形化することで、不正確な更新を可能にし、計算効率を向上。
• 変数分割を用いて問題をxとzのより単純な部分問題に分解し、分散処理およびプロジェクションフリーな更新を可能に。
• Bregman発散に基づく更新を用いることで、ADMMを二次罰則を超えて一般化し、特定のケース（例：KL発散）において効率的な更新を実現。

実験結果

リサーチクエスチョン

• RQ1 先行研究において未解決であった、バッチADMMにおける目的関数のO(1/T)収束速度を、変分不等式に基づく新規証明技法によって確立できるか？
• RQ2 一般関数および強い凸関数の両方に対して、オンラインADMMにおける目的関数と制約違反の両方のレグレットバウンドはどのように導出可能か？
• RQ3 線形化を用いた不正確なADMM更新は、収束を維持しながら計算効率をどのように向上できるか？
• RQ4 どのような状況でOADMがプロジェクションフリーなオンライン学習アルゴリズムとして機能できるか？
• RQ5 変数分割を活用することで、OADMは時空間的データを対象とした分散オンライン最適化に拡張可能か？

主な発見

• 本稿では、変分不等式に基づく証明技法を用いて、バッチADMMにおける目的関数の新たなO(1/T)収束速度を確立した。これは先行研究で未解決であった。
• OADMは、一般凸関数のオンライン設定において、目的関数および制約違反の両方についてO(1/T)のレグレットバウンドを達成した。
• 強い凸関数の場合、OADMはO(log T / T)のレグレットバウンドを達成し、一般ケースよりも高速な収束を示した。
• 線形化を用いた不正確なADMM更新は、収束を維持しながら計算効率を向上させ、特に高次元設定で顕著であった。
• 実験結果では、Lasso問題においてOADMは真のNNZ（100）に最も近いスパarsityを達成し、FOBOSやRDAを上回った。
• 全変動ノイズ除去の場面では、OADMはADMM、FOBOS、RDAよりも滑らかで正確なパターン回復を実現し、特に振動しやすい状況でも優れた性能を示した。