[論文レビュー] Early Stopping is Nonparametric Variational Inference

Dougal Maclaurin, David Duvenaud+1 more|arXiv (Cornell University)|Apr 6, 2015

Gaussian Processes and Bayesian Inference参考文献 13被引用数 12

ひとこと要約

この論文は、初期分布を最適化ステップによって変換することで、ランダム初期化を伴う収束しない確率的勾配降下法（SGD）が、暗黙的かつ非パrametricな変分推論を実行すると提案している。エントロピー追跡を用いたスケーラブルで不偏な変分下界の推定器を導入することで、検証セットを必要とせずハイパーパramータ最適化が可能となり、深層学習における早期停止やアンサンブルの理論的基盤を提供する。

ABSTRACT

We show that unconverged stochastic gradient descent can be interpreted as a procedure that samples from a nonparametric variational approximate posterior distribution. This distribution is implicitly defined as the transformation of an initial distribution by a sequence of optimization updates. By tracking the change in entropy over this sequence of transformations during optimization, we form a scalable, unbiased estimate of the variational lower bound on the log marginal likelihood. We can use this bound to optimize hyperparameters instead of using cross-validation. This Bayesian interpretation of SGD suggests improved, overfitting-resistant optimization procedures, and gives a theoretical foundation for popular tricks such as early stopping and ensembling. We investigate the properties of this marginal likelihood estimator on neural network models.

研究の動機と目的

• 収束しない最適化や早期停止を、暗黙的かつ非パrametricな後方分布近似を用いた変分推論として理論的に解釈すること。
• SGD中のエントロピー追跡を用いて、ログ周辺尤度の変分下界のスケーラブルで不偏な推定器を開発すること。
• 推定された周辺尤度を活用することで、検証セットを必要とせずハイパーパramータ最適化を可能にすること。
• ニューラルネットワークにおける最適化ダイナミクスによって形成される暗黙的変分分布の性質を分析すること。
• ランダム初期化を伴う最適化アルゴリズムが、後方分布のモードに収束するような分布の系列をどのように暗黙的に定義するかを調査すること。

提案手法

• SGDの各最適化ステップを、初期パラメータ分布の決定的変換として解釈し、暗黙的かつ非パrametricな変分近似の系列を形成する。
• 最適化ステップ間でのエントロピーの変化を追跡し、各反復における暗黙的変分分布のエントロピーを推定する。
• エントロピー推定値を用いて、ログ周辺尤度の不偏かつスケーラブルな下界を計算し、モデル選択の代理指標として用いる。
• 更新ルールを変更することで、より良好に制御された暗黙的分布を維持する「エントロピーに配慮した」SGDの変種を提案する。
• 推定器をニューラルネットワークに適用し、交差検証ではなく周辺尤度推定に基づくハイパーパramータチューニングを可能にする。
• 変分パラメータ、特に学習ハイパーパramータの勾配最適化を可能にするために、逆方向微分を用いる。

実験結果

リサーチクエスチョン

• RQ1 収束しないSGDは、非パrametricな変分後方分布からのサンプリングとして解釈可能か？
• RQ2 SGDによって形成される暗黙的変分分布のエントロピーを、スケーラブルかつ不偏に推定できるか？
• RQ3 変分下界からの周辺尤度推定値は、テストデータの汎化性能と相関しているか？
• RQ4 検証セットを必要とせず、周辺尤度推定器を用いてハイパーパramータを最適化できるか？
• RQ5 最適化から得られる暗黙的分布は、真の後方分布と比較して品質や集中度においてどのように異なるか？

主な発見

• 論文は、ランダム初期化を伴うSGDの各反復が、後方分布のモードに収束する非パrametricな変分分布を暗黙的に定義することを確立した。
• 提案されたエントロピー推定器により、数百万パラメータを持つモデルに対しても、ログ周辺尤度の変分下界の不偏かつスケーラブルな推定が可能になった。
• 周辺尤度推定器はテスト性能とある程度の相関を示し、ニューラルネットワークにおける検証フリーのモデル選択の可能性を示唆している。
• 本手法により、反復回数を変数として変分下界を最適化するという観点から、早期停止の理論的根拠が得られた。
• 複数回のSGD実行によるアンサンブルは、同じ暗黙的変分後方分布からの独立したサンプリングとして自然に解釈され、その実験的成功を説明できる。
• エントロピーに配慮したSGDの変種は、より安定的かつ情報量の多い暗黙的分布を維持し、変分近似の品質を向上させた。