[論文レビュー] Stochastic Optimization with Variance Reduction for Infinite Datasets with Finite-Sum Structure

Alberto Bietti, Julien Mairal|arXiv (Cornell University)|Oct 4, 2016

Neural Networks and Applications被引用数 14

ひとこと要約

本稿では、データ拡張などのデータ摂動によって有限和構造を持つ無限データセットにおける確率的最適化のための分散低減アルゴリズムであるS-MISOを提案する。摂動に起因する勾配分散にのみ依存するが、データのサンプリング分散に依存しないため、SGDに比べて定数因子が小さい線形収束を達成する。

ABSTRACT

Stochastic optimization algorithms with variance reduction have proven successful for minimizing large finite sums of functions. Unfortunately, these techniques are unable to deal with stochastic perturbations of input data, induced for example by data augmentation. In such cases, the objective is no longer a finite sum, and the main candidate for optimization is the stochastic gradient descent method (SGD). In this paper, we introduce a variance reduction approach for these settings when the objective is composite and strongly convex. The convergence rate outperforms SGD with a typically much smaller constant factor, which depends on the variance of gradient estimates only due to perturbations on a single example.

研究の動機と目的

• 確率的データ摂動によって有限和構造を持つ無限データセットを含む機械学習問題における最適化手法のギャップを埋める。
• 標準的な分散低減手法が有限和勾配の正確な評価を必要とし、摂動によって勾配が確率的になる場合には失敗するという制限を克服する。
• 有限和の分散低減による高速収束を維持するとともに、データ拡張やノイズによる確率的勾配と両立可能なアルゴリズムを開発する。
• データポイント間のサンプリング分散に依存しないことでSGDよりも高速な収束を達成する。収束に必要な依存要因は摂動に起因する勾配分散のみにとどめる。
• 有限和のインクリメンタル手法と無限データセットの確率的近似手法の間のギャップを埋め、ハイブリッドな設定でも効率的な最適化を可能にする。

提案手法

• 確率的摂動下で有限和構造を持つ複合的・強い凸目的関数を対象とする、MISOアルゴリズムの確率的変種であるS-MISOを提案する。
• 勾配 $ f_i(x) = \mathbb{E}_\rho[\tilde{f}_i(x, \rho)] $ の形でアクセス可能な一次の確率的オракルを用いる。ここで $ \rho $ はランダムな摂動を表す。
• 各データポイントの過去の勾配の移動平均を維持することで分散を低減し、SAGA風の分散低減技術を確率的設定に適応する。
• ステップサイズ $ \eta_t $ を用いたプロキシマル更新ルールを適用し、強い凸性およびリプシッツ滑らかさの仮定の下で収束を保証する。
• 最適解からの期待二乗距離の再帰的上限を導出する：$ \mathbb{E}[\|x_t - x^*\|^2] \leq (1 - \mu \eta_t) \mathbb{E}[\|x_{t-1} - x^*\|^2] + \eta_t^2 \sigma_{\text{tot}}^2 $、ここで $ \sigma_{\text{tot}}^2 $ は摂動に起因する勾配ノイズを捉える。
• 非一様サンプリングおよび平均化スキームへの拡張を実施し、劣化条件問題における収束を向上させる。

実験結果

リサーチクエスチョン

• RQ1 有限和構造が確率的データ変換によって摂動を受ける最適化問題において、分散低減技術を適応可能にすることができるか？
• RQ2 有限和の高速収束性とデータ拡張やノイズによる確率的勾配法のロバスト性を併せ持つ手法が存在するか？
• RQ3 このような手法の収束速度は何か？ また、勾配分散に依存する点でSGDと比較してどうなるか？
• RQ4 データポイント間のサンプリング分散の影響を軽減しながら、線形収束を維持できるか？
• RQ5 特に劣化条件問題において、データ拡張やノイズ注入の下で実際の性能はどのようになるか？

主な発見

• S-MISOは、収束定数がSGDよりも小さく、収束誤差の漸近的最小値もSGDより小さい。収束速度は、データポイント間のサンプリング分散ではなく、摂動に起因する勾配分散 $ \sigma_p^2 $ のみに依存する。
• S-MISOの反復複雑度は $ O\left(\frac{L}{\mu}\log\frac{1}{\bar{\epsilon}} + \frac{\sigma_{\text{tot}}^2}{\mu\epsilon}\right) $ であり、$ \sigma_{\text{tot}}^2 $ には摂動ノイズが含まれる。定数因子はSGDよりも顕著に小さい。
• 乳がんデータセットにおける実験結果から、S-MISOは平均化付きSGDを上回り、特に劣化条件数 $ \kappa = L/\mu $ が大きい問題や、高いドロップアウト率の下でも優れた性能を示す。
• 平均化スキームはS-MISOおよびSGDの両方の収束を向上させるが、特に劣化条件問題ではS-MISOの恩恵が顕著に現れる。
• S-MISOは、有限和インクリメンタル手法と確率的近似手法の間を自然に補間できる最初のアルゴリズムであり、バイアスがなく、ハイブリッドな設定でも効率的である。
• 非一様サンプリング下でも有効であり、調整されたステップサイズとサンプリング分布に依存する分散項を用いた収束境界が適応可能である。