[論文レビュー] Online Alternating Direction Method

Huahua Wang, Arindam Banerjee|arXiv (Cornell University)|Jun 27, 2012

Advanced Bandit Algorithms Research参考文献 23被引用数 105

ひとこと要約

本稿は、一般および強凸関数に対して、大規模最適化のためのオンライン交替方向汎化法（ADM）アルゴリズムを導入する。バッチADMのための新規証明技法を用いて、O(1/T)収束を確立し、実行可能解と非実行可能解の2つのオンライン設定における目的関数と制約違反のレグレットバウンドを提供する。

ABSTRACT

Online optimization has emerged as powerful tool in large scale optimization. In this paper, we introduce efficient online algorithms based on the alternating directions method (ADM). We introduce a new proof technique for ADM in the batch setting, which yields the O(1/T) convergence rate of ADM and forms the basis of regret analysis in the online setting. We consider two scenarios in the online setting, based on whether the solution needs to lie in the feasible set or not. In both settings, we establish regret bounds for both the objective function as well as constraint violation for general and strongly convex functions. Preliminary results are presented to illustrate the performance of the proposed algorithms.

研究の動機と目的

• 大規模問題のための、交替方向法（ADM）に基づく効率的なオンライン最適化アルゴリズムの開発。
• オンライン設定における目的関数と制約違反の理論的レグレットバウンドの確立。
• 新しい証明技法を用いて、ADMの収束解析をバッチ設定からオンライン設定へ拡張。
• 解が実行可能集合内に存在する必要がある場合とない場合の2つのシナリオにおける性能分析。
• オンライン最適化における一般関数および強凸関数の両方に対して理論的保証を提供。

提案手法

• 制約下での逐次意思決定を目的とした、交替方向法（ADM）のオンライン版を提案。
• バッチADMのO(1/T)収束率を確立する新規証明技法を導入し、オンラインレグレット解析の基盤を構築。
• 到着するデータポイントを用いて、逐次的にプライマル変数と双対変数を更新することで、ADMフレームワークをオンライン設定に適用。
• オンライン解とオフライン最適解との累積差分を分析して、レグレットバウンドを導出。
• オーバーラップラグランジュ形式と双対上昇ステップを用いて、オンライン設定における制約を処理。
• 2つの設定を検討：1つは各ステップで実行可能性を強制し、もう1つは非実行可能イテレートを許容する。それぞれに異なるレグレット解析を適用。

実験結果

リサーチクエスチョン

• RQ1 交替方向法は、理論的保証を伴ってオンライン最適化設定に適応可能か？
• RQ2 バッチ設定におけるADMの収束速度は何か？ そして、それがオンラインレグレット解析にどのように寄与するか？
• RQ3 オンラインADMにおける目的関数と制約違反のためのレグレットバウンドはどのように確立できるか？
• RQ4 実行可能解と非実行可能解の設定におけるレグレットバウンドはどのように異なるか？
• RQ5 一般関数および強凸関数の両方において、オンライン最適化における理論的結果はどのように成立するか？

主な発見

• 本稿では、新規証明技法を用いてバッチADMのO(1/T)収束率を確立し、これがオンラインレグレット解析の基盤を形成する。
• 一般凸関数の場合、オンラインADMは目的関数においてO(√T)のレグレット、実行可能および非実行可能設定の両方で制約違反についてもO(√T)のレグレットを達成する。
• 強凸関数の場合、レグレットバウンドは目的関数でO(log T)、制約違反でO(log T)に改善される。
• 提案されたオンラインADMアルゴリズムは、サブ線形レグレットを達成しており、累積損失が時間に対して線形より遅く増加することを示している。
• 理論的解析により、オンラインADMが実行可能および非実行可能解の両方の制約下でも安定性と収束性を維持することが確認された。
• 予備の実験結果は、提案されたオンラインADMアルゴリズムの実用的有効性とスケーラビリティを示している。