[論文レビュー] A Universal Algorithm for Variational Inequalities Adaptive to Smoothness and Noise

Francis Bach, Kfir Y. Levy|arXiv (Cornell University)|Feb 5, 2019

Sparse and Compressive Sensing Techniques参考文献 15被引用数 29

ひとこと要約

本稿では、滑らかさ・非滑らかさおよびノイズあり・ノイズなしの設定において、問題の性質に関する事前知識がなくても最適収束レートを段階的に達成できる、変分不等式のための普遍的なMirror-Proxベースのアルゴリズムを提示する。この手法は、AdaGradにインspされた新しい適応的ステップサイズルールを用い、滑らかな場合と非滑らかな場合にそれぞれ最適な$O(1/T)$および$O(1/\sqrt{T})$のレートを達成する。また、任意のノルムとBregman発散を扱える。

ABSTRACT

We consider variational inequalities coming from monotone operators, a setting that includes convex minimization and convex-concave saddle-point problems. We assume an access to potentially noisy unbiased values of the monotone operators and assess convergence through a compatible gap function which corresponds to the standard optimality criteria in the aforementioned subcases. We present a universal algorithm for these inequalities based on the Mirror-Prox algorithm. Concretely, our algorithm simultaneously achieves the optimal rates for the smooth/non-smooth, and noisy/noiseless settings. This is done without any prior knowledge of these properties, and in the general set-up of arbitrary norms and compatible Bregman divergences. For convex minimization and convex-concave saddle-point problems, this leads to new adaptive algorithms. Our method relies on a novel yet simple adaptive choice of the step-size, which can be seen as the appropriate extension of AdaGrad to handle constrained problems.

研究の動機と目的

• 滑らかさ、非滑らかさ、ノイズあり、ノイズなしの設定において、変分不等式の最適収束レートを達成する単一のアルゴリズムを開発すること。
• 問題の滑らかさやノイズレベルに関する事前知識の必要性を排除すること。
• AdaGradのような適応的最適化技術を、Bregman発散とMirror-Proxを介して制約付き問題に拡張すること。
• 凸最小化と凸-凹なサドルポイント問題を統一的に扱う、適応的性能を有するフレームワークを提供すること。

提案手法

• アルゴリズムは、オンライン学習の原則に基づいて導出された適応的ステップサイズルールを有するMirror-Proxフレームワークに依拠している。
• 累積勾配ノルムに基づいて動的に調整される、新しい適応的学習率を採用しており、AdaGradに類似しているが、制約付き設定に適応させたものである。
• 収束基準として、変分不等式の観点から最適性を測る、適合するギャップ関数（DualGap）を用いている。
• ノイズのあるオракルアクセスを処理するため、推定の分散を制限し、解析においてマルティングール差分列の技術を用いている。
• 任意のノルムを用い、射影にBregman発散を用いることで、幾何学的選択の柔軟性を実現している。
• 主な技術的要素として、マルティングール差分と、列に依存する確率的ベクトルとの内積の期待値をバインドする命題が挙げられる。

実験結果

リサーチクエスチョン

• RQ1 滑らかさに関する事前知識がなくても、滑らかさと非滑らかさの両方の変分不等式に対して最適収束レートを達成できる単一のアルゴリズムは存在するか？
• RQ2 ノイズ分散を事前に知らない状態でも、確率的設定においてノイズレベルへの適応性を達成できるか？
• RQ3 オンライン学習からの適応的ステップサイズを、Bregman発散を用いた制約付き最適化問題にどのように拡張できるか？
• RQ4 凸最小化とサドルポイント問題の両方の収束保証を、単一の適応的フレームワークで統一することは可能か？

主な発見

• 非滑らかでノイズありの状況では、期待されるデュアルギャップが$O\left(\frac{\alpha GD\sqrt{\log T}}{\sqrt{T}}\right)$に抑えられ、対数要因を除いて最適レートに一致する。
• 滑らかでノイズありの状況では、期待されるデュアルギャップが$O\left(\frac{\alpha GD + \alpha^2 LD^2 + LD^2 \log(LD/G_0)}{T} + \frac{\alpha \sigma D \sqrt{1/T}}{\sqrt{T}}\right)$で抑えられ、滑らかな問題の最適レートを達成する。
• 滑らかな場合に$O(1/T)$、非滑らかな場合に$O(1/\sqrt{T})$の収束が達成され、両者とも対数要因を除いて最適である。
• 適応的ステップサイズルールにより、局所的な滑らかさや低ノイズ環境を自動的に活用でき、調整パラメータの必要がない。
• 解析により、マルティングール差分と適応的に選ばれた確率的ベクトルとの内積の期待値に対する新しいバインドが確立され、きめ細かい収束制御が可能になった。