[論文レビュー] Stochastic first-order methods: non-asymptotic and computer-aided analyses via potential functions

Adrien Taylor, Francis Bach|arXiv (Cornell University)|Feb 3, 2019

Stochastic Gradient Optimization Techniques参考文献 73被引用数 13

ひとこと要約

本稿では、潜在関数を用いた確率的1次最適化手法の解析のための、コンピュータ支援型で半定値計画法（SDP）に基づくフレームワークを提案する。本フレームワークは、有界分散、最適解における分散、ブロック座標設定など、さまざまなノイズモデル下でも非漸近的収束保証を可能にするとともに、構造的な潜在関数設計により自動的なパラメータ選定を実現する。

ABSTRACT

We provide a novel computer-assisted technique for systematically analyzing first-order methods for optimization. In contrast with previous works, the approach is particularly suited for handling sublinear convergence rates and stochastic oracles. The technique relies on semidefinite programming and potential functions. It allows simultaneously obtaining worst-case guarantees on the behavior of those algorithms, and assisting in choosing appropriate parameters for tuning their worst-case performances. The technique also benefits from comfortable tightness guarantees, meaning that unsatisfactory results can be improved only by changing the setting. We use the approach for analyzing deterministic and stochastic first-order methods under different assumptions on the nature of the stochastic noise. Among others, we treat unstructured noise with bounded variance, different noise models arising in over-parametrized expectation minimization problems, and randomized block-coordinate descent schemes.

研究の動機と目的

• 確率的オракル下での部分線形収束率を示す1次最適化アルゴリズムの体系的かつコンピュータ支援型の解析手法の開発。
• 従来の潜在関数法の限界を克服し、有界分散や最適解における分散を含む構造的ノイズを持つ確率的設定の解析を可能にすること。
• アルゴリズムや問題設定を変更しない限り改善不可能な、タイトな最悪ケース収束保証の提供。
• 潜在関数構造の最適化を通じて、分析プロセスに自動的なパラメータ選定を統合すること。
• 有限和最小化、過パラメータ化問題、ランダムブロック座標勾配降下法など、多様な設定への適用可能性の拡張。

提案手法

• アルゴリズムの進捗を最適解からの距離を抑える潜在関数で表現することで、収束解析を半定値計画問題（SDP）として定式化する。
• 状態変数 $ d_k $ が自己適合的に変化する形のリャプノフ型潜在関数 $ \varphi_k^f = d_k(f(x_k) - f^*) + \frac{L}{2}\|x_k - x^*\|^2 $ を用いる。
• 反復間で潜在関数の期待値が減少することを保証する線形行列不等式（LMI）条件を導出する。
• アルゴリズムの状態と勾配から得られるグラム行列 $ G = P^T P \succeq 0 $ を構築し、不等式のSDP定式化を可能にする。
• 最悪ケース性能を最適化するために、潜在関数設計に双対最適化ステップを導入し、アルゴリズムパラメータ（例：ステップサイズ）の自動チューニングを実現する。
• LMI制約に $ \mathbb{E}_i \|G(x;i) - f'(x)\|^2 $ に関する仮定を直接組み込むことで、異なるノイズモデルに適応する。

実験結果

リサーチクエスチョン

• RQ1 確率的1次最適化手法の部分線形収束に対して、体系的かつコンピュータ支援型の非漸近的収束レートを導出する手法を開発可能か？
• RQ2 潜在関数をどのように構築すれば、アルゴリズムや問題構造を変更しない限り改善不可能なタイトな最悪ケース保証が得られるか？
• RQ3 本フレームワークは、有界分散、最適解における分散、ブロック座標オラクルを含む、多様な確率的ノイズモデルをどの程度扱えるか？
• RQ4 収束解析と最悪ケース性能を最適化するための自動パラメータ選定を同時に実現可能か？
• RQ5 異なる確率的オラクル仮定下で、強凸および非強凸設定への一般化はどの程度可能か？

主な発見

• 本フレームワークは、$ \mathbb{E}_i \|G(x;i)\|^2 \leq \sigma_*^2 + 2\rho_1 L(f(x) - f^*) + \rho_2 \|f'(x)\|^2 $ という統一された分散モデル下で、確率的勾配降下法（SGD）に対してタイトな最悪ケース収束保証を達成し、明示的なパラメータチューニングを実現した。
• $ n $ 個のブロックを持つブロック座標降下法では、期待値において線形収束が証明された：$ \mathbb{E}_{i_k} \|x_{k+1}^{(i_k)} - x^*\|^2 \leq \rho_2 \|x_k - x^*\|^2 $、ここで $ \rho_2 = \max\left\{ (\delta_k \mu - 1)^2 + \frac{n-1}{n}, (\delta_k L - 1)^2 + \frac{n-1}{n} \right\} $。
• 本手法は、有限和設定および過パラメータ化設定におけるSGDに対し、非漸近的収束レートを提供し、均一に有界な分散仮定が成り立たない場合にも対応可能である。
• 潜在関数構造の最適化を通じて、手動チューニングなしに最悪ケース性能を向上させる自動パラメータ選定が可能である。
• 本フレームワークは、最適解における分散（$ \sigma_*^2 $）や構造のないノイズに対してもロバストであり、タイトな保証が証明可能である。
• 分析は、経験的リスク最小化、ブロック座標降下法、モーメンタム付き確率的手法など、複数の設定で検証され、広範な適用可能性が示された。