[論文レビュー] A Continuous-time Stochastic Gradient Descent Method for Continuous Data

Kexin Jin, Jonas Latz+2 more|arXiv (Cornell University)|Dec 7, 2021

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿では、連続的なデータ上での最適化のための連続時間確率的勾配プロセス（SGP）を提案する。目的関数のインデックスは、反射ブラウン運動やレヴィ過程などの確率過程に従う。学習率を徐々に小さくすることで最小値に収束し、特に物理則に基づくニューラルネットワークや関数回帰の分野で一般化性能が向上する。

ABSTRACT

Optimization problems with continuous data appear in, e.g., robust machine learning, functional data analysis, and variational inference. Here, the target function is given as an integral over a family of (continuously) indexed target functions - integrated with respect to a probability measure. Such problems can often be solved by stochastic optimization methods: performing optimization steps with respect to the indexed target function with randomly switched indices. In this work, we study a continuous-time variant of the stochastic gradient descent algorithm for optimization problems with continuous data. This so-called stochastic gradient process consists in a gradient flow minimizing an indexed target function that is coupled with a continuous-time index process determining the index. Index processes are, e.g., reflected diffusions, pure jump processes, or other Lévy processes on compact spaces. Thus, we study multiple sampling patterns for the continuous data space and allow for data simulated or streamed at runtime of the algorithm. We analyze the approximation properties of the stochastic gradient process and study its longtime behavior and ergodicity under constant and decreasing learning rates. We end with illustrating the applicability of the stochastic gradient process in a polynomial regression problem with noisy functional data, as well as in a physics-informed neural network.

研究の動機と目的

• 離散的でない連続的なデータ空間上で期待値の目的関数を最適化する課題に取り組むこと。ここでは、従来の離散的確率的勾配降下法（SGD）は不適切または非効率的である。
• インデックス選択を確率過程としてモデル化する連続時間フレームワークを構築し、リアルタイムまたはストリーミングデータの統合を可能にする。
• 定常学習率および減少学習率の下で、確率的勾配プロセスのエルゴード性および収束性を分析する。
• 多項式回帰におけるノイズを含む関数的データや物理則に基づくニューラルネットワーク（PINNs）を含む、実用的応用における手法の有効性を示す。

提案手法

• ポーランド空間 S 上でインデックス付けられた関数族の積分として最適化問題を定式化し、全目的関数を確率測度 π に関する期待値として定義する。
• インデックス y がコンパクトなインデックス空間 S 上でマルコフ過程（例：反射ブラウン運動、純ジャンプ過程、レヴィ過程）として進化する連続時間確率的勾配プロセス（SGP）を提案する。
• SGP を、パrameter 空間 θ における勾配フローと、y における確率的インデックスプロセスのカップルドシステムとして定義し、勾配は (θ, y(t)) で評価する。
• 収束を保証する条件を満たす学習率スケジュール μ(t) = 1/η(t) を導入する。特に、減少学習率の下で有効である。
• Fokker-Planck 方程式を用いて、結合過程 (θ(t), y(t)) の長期的挙動および定常性を分析する。
• 数値的SDEソルバー（例：Euler-Maruyama）を用いて実装し、実験では適応的学習率とAdam最適化手法を用いる。

実験結果

リサーチクエスチョン

• RQ1 インデックスが離散的ではなく連続的に分布する連続的データ空間において、確率的勾配降下法をどのように一般化できるか？
• RQ2 定常学習率および減少学習率の下で、連続時間確率的勾配プロセスの収束性およびエルゴード性はどのような性質を示すか？
• RQ3 異なるサンプリングパターン（例：反射ブラウン運動対純ジャンプ過程）は、暗黙の正則化および一般化性能にどのように影響を与えるか？
• RQ4 SGPフレームワークは、関数的データ解析や物理則に基づくニューラルネットワークなどの連続的データ問題に効果的に適用可能か？
• RQ5 固定ミニバッチを用いた標準的なSGDと比較して、動的かつ連続的なサンプリングは最適化の安定性および収束速度にどのような影響を与えるか？

主な発見

• 学習率を0に徐々に小さくする条件下で、凸性および可積分性の仮定のもと、確率的勾配プロセスは全目的関数の最小値に収束する。
• 定常学習率の下では、SGPは分布的に定常測度に収束し、結合状態空間上でエルゴード的挙動を示す。
• 多項式回帰の実験では、SGPC（反射ブラウン運動を用いる）とSGPD（減少学習率を用いる）は、それぞれテスト平均二乗誤差が 3.5×10⁻⁴ および 2.8×10⁻⁴ であり、標準的なSGD（4.5×10⁻⁴）を上回った。
• SGPDは、適応的学習率スケジュールのおかげで、SGD や SGPC と比較して訓練損失の収束が速かった。
• PINNの実験では、SGPフレームワークが標準的なSGDよりも一般化性能に優れており、動的データサンプリングパターンが暗黙の正則化をもたらしている可能性がある。
• ストリーミングまたはシミュレーテッドデータに対して本手法は頑健であり、事前にサンプリングを行わず、固定バッチを必要とせずにリアルタイムでインデックスプロセスを生成できる。