[論文レビュー] Constant Step Size Stochastic Gradient Descent for Probabilistic Modeling

Dmitry T. Babichev, Francis Bach|arXiv (Cornell University)|Apr 16, 2018

Stochastic Gradient Optimization Techniques参考文献 4被引用数 8

ひとこと要約

本稿では、指数型分布族を用いた確率的モデリングにおける定数ステップサイズの確率的勾配降下法において、自然パラメータの代わりにモーメントパラメータを平均化する手法を提案する。この手法は、有限次元モデルでは最良の線形モデルを上回る予測性能を示し、無限次元モデルでは最適な予測に常に収束する。これに対して自然パラメータの平均化は、このような設定では収束しない。

ABSTRACT

Stochastic gradient methods enable learning probabilistic models from large amounts of data. While large step-sizes (learning rates) have shown to be best for least-squares (e.g., Gaussian noise) once combined with parameter averaging, these are not leading to convergent algorithms in general. In this paper, we consider generalized linear models, that is, conditional models based on exponential families. We propose averaging moment parameters instead of natural parameters for constant-step-size stochastic gradient descent. For finite-dimensional models, we show that this can sometimes (and surprisingly) lead to better predictions than the best linear model. For infinite-dimensional models, we show that it always converges to optimal predictions, while averaging natural parameters never does. We illustrate our findings with simulations on synthetic data and classical benchmarks with many observations.

研究の動機と目的

• 大規模な確率的モデリングにおける確率的勾配降下法の収束が遅いという課題に対処すること。
• 定数ステップサイズが一般化線形モデルにおいて収束的かつ効率的なアルゴリズムをもたらすかどうかを調査すること。
• SGDにおけるモーメントパラメータの平均化と自然パラメータの平均化の理論的および実験的利点を調査すること。
• 定数ステップサイズのSGDとモーメントパラメータの平均化が最適な予測性能を達成するための条件を確立すること。

提案手法

• ベルヌーイ分布モデルにおける確率など、モーメントパラメータ（例：確率）を自然パラメータ（例：オッズの対数）の代わりに平均化する、新しい平均化スキームを提案する。
• 単一のデータポイントからの不偏勾配推定を用いて、定数ステップサイズの確率的勾配降下法を指数型分布族モデルに適用する。
• 有限次元および無限次元モデル、特に再生核ヒルベルト空間に基づく設定を含む、モーメントパラメータ平均化の理論的収束保証を導出する。
• 大規模データセットにおけるスケーラブルな計算を可能とするために、列サンプリングと正則化をカーネル法に適用する。
• 過剰予測性能を指標として用い、平均化された予測と平均化された推定器、および最良の線形モデルとを比較する。
• 合成データと実世界のベンチマーク（MiniBooNE、Covertype）を用いて、線形モデルおよびカーネルモデルの両方で手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 定数ステップサイズのSGDとモーメントパラメータ平均化は、無限次元の指数型分布族モデルにおいて最適な予測に収束するか？
• RQ2 有限次元の一般化線形モデルにおいて、モーメントパラメータの平均化は自然パラメータの平均化よりも優れた予測性能を達成するか？
• RQ3 自然パラメータの平均化は、パラメータ空間が非制限的であるにもかかわらず、なぜ定数ステップサイズのSGDにおいてモーメントパラメータ平均化より性能が劣るのか？
• RQ4 有限次元設定において、モーメントパラメータ平均化の性能は最良の線形モデルと比べてどうなるか？
• RQ5 ステップサイズと平均化の影響は、大規模な確率的モデリングにおける収束速度と予測精度にどのように影響するか？

主な発見

• 有限次元モデルでは、モーメントパラメータ平均化が最良の線形モデルを上回る予測性能を達成でき、これは驚くべき結果であるとされる。
• 無限次元モデルでは、モーメントパラメータ平均化は常に最適な予測に収束するが、自然パラメータ平均化は決して収束しない。
• 合成データにおけるシミュレーションでは、大きな定数ステップサイズを用いたモーメントパラメータ平均化が、他の手法では発散を引き起こす場合でも、より優れた性能を示す。
• 実世界のデータセット（MiniBooNEおよびCovertype）において、線形モデルおよびカーネルモデルの両方で、モーメントパラメータ平均化は自然パラメータ平均化を常に上回る。
• 特にカーネル化された設定では、モーメントパラメータ平均化が最良の線形モデルよりも低い過剰予測損失を達成する。
• 非線形かつ高次元の設定において特に顕著に、定数ステップサイズを用いながらも理論的収束を保ちつつ、高速な収束を実現する。