[論文レビュー] Tail bounds for stochastic approximation

Michael P. Friedlander, Gabriel Goh|arXiv (Cornell University)|Apr 20, 2013

Sparse and Compressive Sensing Techniques参考文献 25被引用数 5

ひとこと要約

本稿は、凸最適化における確率的近似手法の指数的尾部バウンドを確立し、サンプルサイズが増加するにつれて、確率的近位勾配法の収束速度が、決定的線形レートから逸脱する確率が指数的に減少することを示している。解析により、最適でないギャップに関する高確率保証が得られ、標準的な期待値ベースの収束結果を補完する。

ABSTRACT

Stochastic-approximation gradient methods are attractive for large-scale convex optimization because they offer inexpensive iterations. They are especially popular in data-fitting and machine-learning applications where the data arrives in a continuous stream, or it is necessary to minimize large sums of functions. It is known that by appropriately decreasing the variance of the error at each iteration, the expected rate of convergence matches that of the underlying deterministic gradient method. Conditions are given under which this happens with overwhelming probability.

研究の動機と目的

• 確率的近似反復が決定的解パスから逸脱する確率に関する高確率的バウンドを提供し、収束の信頼性に関する実用的懸念に応える。
• 限られた反復回数で実行する実務家にとってより情報を得やすい、期待値ベースの収束解析を補完する確率的保証を提供する。
• 誤差が線形に減少する場合に、最適でないギャップの指数的減少する尾部バウンドを導出する、特にサンプル平均勾配推定の文脈において。
• サンプリングを復元抽出なしで行う場合に特化し、古典的なホーフィング型不等式よりもタイトなバウンドを導出する。
• 確率的手法が、期待値ではなく、途方もない確率で線形収束レートを達成するための条件を確立する。

提案手法

• 確率的近似における勾配推定ノイズをモデル化するため、ランダム誤差項 $ e_k $ を含む近位勾配フレームワークを用いる。
• 強凸性を必要としない収束解析を可能にするために、最適性条件の残差と解集合までの距離を関係付けるグローバル誤差バウンド仮定 (8b) を適用する。
• 復元抽出と非復元抽出の両方の文脈で、サンプル平均が期待値から逸脱するのを制限するために、ホーフィング型およびセルフリング型集中不等式を用いる。
• 対数不等式と無限積推定（補題 8–10）を用いて指数的尾部バウンドを導出する。特に、決定的手法からの $ \rho $-線形収束レートを活用する。
• 尾部確率の指数的減少率を最適化するために、$ \theta $ における下界を用いた変分的バウンドを導入する。
• フレームワークを $ f(x) = \mathbb{E}_Z F(x,Z) $ の場合に適用し、$ m_k $ 個の i.i.d. サンプル上の平均として確率的勾配をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 確率的近位勾配法が、期待値ではなく高確率で最適解に収束するための条件は何か？
• RQ2 反復回数が増加するにつれて、大きな最適でないギャップ $ \pi_k = h(x_k) - \inf h(x) $ をとる確率はどの程度速く減少するか？
• RQ3 勾配誤差が反復に伴い線形に減少する場合に、収束レートの指数的尾部バウンドを導出できるか？
• RQ4 復元抽出（ホーフィング）と非復元抽出（セルフリング）の両方において、尾部バウンドはどのように異なるか？どちらがタイトな保証を提供するか？
• RQ5 サンプルサイズを増加させることで、確率的手法が決定的線形収束レートから著しく逸脱する確率はどのように変化するか？

主な発見

• 適切な誤差減少およびサンプリング条件の下で、最適でないギャップ $ \pi_k $ が $ \rho^k \pi_0 + \epsilon $ を超える確率は、$ \epsilon $ に関して指数的に減少することが確立された。
• 線形に減少する誤差の下では、尾部バウンドは $ \Pr(\pi_k - \rho^k \pi_0 \geq \epsilon) \leq \left( \frac{e}{\alpha} \cdot \frac{\epsilon \nu}{x} \right)^\alpha \exp\left(-\frac{\epsilon \nu}{x}\right) $ の形を取り、$ \alpha = \frac{1}{k} \left( \frac{1}{\log(1/y)} + 1 \right) $ である。これは指数的減少を示している。
• 非復元抽出を考慮するセルフリングバウンドは、ホーフィングのものよりも一貫してタイトな集中バウンドを提供し、特にサンプルサイズ $ m_k $ が全データセットサイズ $ M $ に対して大きい場合に顕著である。
• $ f(x) = \frac{1}{M} \sum_{i=1}^M f_i(x) $ の場合、最適でないギャップの指数的減少する尾部バウンドが得られ、そのバウンドは明示的にサンプルサイズ $ m_k $ に依存する。これは固定サンプルサイズの手法を上回る。
• グローバル誤差バウンド (8b) の下で解析が成立し、これは強凸性よりも弱く、多面体正則化子や二次関数・最大関数型関数を含む広範な問題クラスに適用可能である。
• 結果は、サンプルサイズが増加するにつれて、確率的近似が期待値ではなく、途方もない確率で線形収束レートを達成できることを示している。