[論文レビュー] Convergence Rates of Variational Inference in Sparse Deep Learning

Badr-Eddine Chérief-Abdellatif|arXiv (Cornell University)|Aug 9, 2019

Gaussian Processes and Bayesian Inference参考文献 74被引用数 12

ひとこと要約

本稿では、スパースなディープラーニングにおける変分推論（VI）が、ホルダー滑らか関数の推定においてほぼミニマックス収束速度を達成することを確立している。これは、正確なベイズ推論と同等の一般化性能を達成する。バイアス・バリアンストレードオフを通じて推定理論と近似理論を結びつけ、ELBO最大化を用いたスパイラル・スラブ事前分布を用いることで、モデルの不適合性下でも過学習を避け、最適な収束速度を自適的に達成する。

ABSTRACT

Variational inference is becoming more and more popular for approximating intractable posterior distributions in Bayesian statistics and machine learning. Meanwhile, a few recent works have provided theoretical justification and new insights on deep neural networks for estimating smooth functions in usual settings such as nonparametric regression. In this paper, we show that variational inference for sparse deep learning retains the same generalization properties than exact Bayesian inference. In particular, we highlight the connection between estimation and approximation theories via the classical bias-variance trade-off and show that it leads to near-minimax rates of convergence for Hölder smooth functions. Additionally, we show that the model selection framework over the neural network architecture via ELBO maximization does not overfit and adaptively achieves the optimal rate of convergence.

研究の動機と目的

• スパースなディープニューラルネットワークにおける変分推論の理論的収束速度を確立すること。
• VIが滑らかな関数推定において正確なベイズ推論と同等の一般化特性を保持することを示すこと。
• ディープラーニングの文脈において、バイアス・バリアンストレードオフを通じて推定理論と近似理論を結びつけること。
• ニューラルネットワークアーキテクチャ上でELBOを最大化することで、過学習を回避し、収束速度の最適な適応性を達成すること。
• スパarsity制約下でスパイラル・スラブ事前分布が最適な収束速度を達成できることを検証すること。

提案手法

• ネットワーク重みにスパイラル・スラブ事前分布を適用し、ドロップアウトのベイズ的代替としてスパarsityを誘導する。
• 再パラメトリゼーショントリックを用いた完全に因子分解されたガウス近似を用いて、勾配ベース最適化による変分推論を適用する。
• 近似事後分布を学ぶために、証拠下限界（ELBO）を最大化する。
• 変分事後分布と真の事後分布のKLダイバージェンスを抑え、収束速度を導出する。
• 被覆議論と集中不等式を用いて、変分事後分布が真の事後分布からどれほど逸脱するかを制御する。
• モデル近似によるバイアスと事後分布近似によるバリアンスのトレードオフを分析し、ほぼミニマックス収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 スパースなディープラーニングにおける変分推論は、ホルダー滑らか関数に対してほぼミニマックス収束速度を達成できるか？
• RQ2 ディープネットワークにおける変分推論の収束特性において、バイアス・バリアンストレードオフはどのように現れるか？
• RQ3 ネットワークアーキテクチャ上でELBOを最大化することは、過学習を引き起こすのか、それとも最適な収束速度の適応性を達成するのか？
• RQ4 ディープネットワークにおけるスパイラル・スラブ事前分布は、スパarsity制約下でも最適な一般化性能を保証できるか？
• RQ5 ディープベイズラーニングの文脈において、近似理論と推定理論の理論的関係は何か？

主な発見

• スパースなディープラーニングにおける変分推論は、ホルダー滑らか関数の推定において、正確なベイズ推論の最適収束速度と同等のほぼミニマックス収束速度を達成する。
• モデルの複雑さにもかかわらず、ELBO最大化により、未知の滑らかさに適応し、過学習を回避する。
• 分析におけるバイアス・バリアンス分解により、最適なトレードオフが達成され、バリアンス項は事後分布近似の集中不等式によって制御される。
• 変分事後分布と事前分布のKLダイバージェンスは、スパarsityレベルSと標本サイズnに比例する項O(S log n)で有界である。
• 適切なネットワークの深さと幅の条件下では、収束速度が対数要因を除き最適であり、最終的なバウンドはO(1/n)に比例することが示された。
• 理論的枠組みは、スパイラル・スラブ事前分布をディープネットワークに用いることがドロップアウトの原理的代替となり、適応的かつ最適な一般化を達成できることを支持する。