[論文レビュー] Variational Dropout via Empirical Bayes

В. А. Харитонов, Dmitry Molchanov+1 more|arXiv (Cornell University)|Nov 1, 2018

Adversarial Robustness in Machine Learning参考文献 8被引用数 7

ひとこと要約

本稿では、経験ベイズを用いて深層ニューラルネットワークにおける自動関係決定（ARD）のための変分推論手法を提案する。変分ドロップアウトの原理的代替手段として、不適切な事前分布に依存しない。重みの事前分布を学習可能な精度パラメータを有するガウス分布としてモデル化することで、スパースな変分ドロップアウトと同等のスパarsityと精度を達成する。さらに、階層的なガンマハイパーパラメータを用いることで、スパarsityと精度のトレードオフが向上する。

ABSTRACT

We study the Automatic Relevance Determination procedure applied to deep neural networks. We show that ARD applied to Bayesian DNNs with Gaussian approximate posterior distributions leads to a variational bound similar to that of variational dropout, and in the case of a fixed dropout rate, objectives are exactly the same. Experimental results show that the two approaches yield comparable results in practice even when the dropout rates are trained. This leads to an alternative Bayesian interpretation of dropout and mitigates some of the theoretical issues that arise with the use of improper priors in the variational dropout model. Additionally, we explore the use of the hierarchical priors in ARD and show that it helps achieve higher sparsity for the same accuracy.

研究の動機と目的

• 不適切な事前分布および特異的後部分布によって引き起こされる変分ドロップアウトにおける理論的問題を解決すること。
• 適切な事前分布を用いた変分推論によるドロップアウトのベイズ的解釈を提供すること。
• 因子化ガウス事後分布を用いたARDにより、学習可能な層固有のドロップアウト率を可能にすること。
• ハイパーパrameterに階層的事前分布を導入し、スパarsityと精度のトレードオフを改善すること。
• ARDベースのドロップアウトがスパースな変分ドロップアウトと同等またはそれ以上の性能を示すことを経験的に検証すること。

提案手法

• ガウス事前分布 p(w|τ) = ∏N(wi|0, τi⁻¹) におけるハイパーパrameter τ を経験ベイズにより学習することで、自動関係決定を可能にする。
• 因子化ガウス変分事後分布 q(w|μ,σ) = ∏N(wi|μi,σi²) を用いた二重確率的変分推論（DSVI）を適用し、真の事後分布を近似する。
• 固定ドロップアウト率の場合に変分ドロップアウトの目的関数と一致する下界（ELBO）を導出し、τi* = (μi² + σi²)⁻¹ を用いて学習可能な率へ一般化する。
• ガンマハイパーパラメータ p(τi|a,b) = Gamma(τi|a,b) を導入し、MAP-II推定により a と b を学習することで、スパarsityを制御可能にする。
• 周辺事前分布 p(wi) が一般化スチューデントt分布に漸近することを示し、a,b→0 の極限でスパースな変分ドロップアウトにおける対数一様事前分布が得られることを示す。
• 局所的再パラメータ化勾配を用いて、μ および σ に関するELBOを効率的に最適化する。

実験結果

リサーチクエスチョン

• RQ1 適切な事前分布を用いたARDは、不適切な後部分布を回避する理論的に整合性のある変分ドロップアウトの代替手段となり得るか？
• RQ2 ドロップアウト率が学習可能である場合、ARDとスパースな変分ドロップアウトのELBO目的関数はどのように比較されるか？
• RQ3 ARDハイパーパラメータに階層的事前分布を導入することで、ニューラルネットワークのプリンティングにおける精度と圧縮のトレードオフが改善されるか？
• RQ4 提案されたARDベースのドロップアウト手法は、スパースな変分ドロップアウトと同等またはそれ以上のスパarsityと精度を達成するか？
• RQ5 階層的ARDモデルにおける周辺事前分布と、スパースな変分ドロップアウトで用いられる対数一様事前分布との関係は何か？

主な発見

• 学習可能なドロップアウト率を用いたARDの目的関数（式3）は、経験的にスパースな変分ドロップアウトの目的関数（式4）と同等であり、両者とも同程度のスパarsityと精度を達成する。
• MNIST（LeNet-5）では、ARDドロップアウトが0.76%の誤差（±0.09）と132の圧縮重みを達成し、スパースVDの0.81%（±0.04）と136の圧縮重みと同等の性能を示した。
• CIFAR-10（VGG風）では、ARDドロップアウトが7.75%の誤差（±0.28）と34の圧縮重みを達成し、スパースVDの8.08%（±0.27）と38の圧縮重みを上回った。
• CIFAR-10に a=0.505, b=10⁻⁸ のガンマハイパーパラメータを適用した場合、7.46%の誤差と52の圧縮重みを達成し、同程度の精度でより高いスパarsityを実現した。
• 不適切な事前分布や特異的後部分布を回避することで、変分ドロップアウトに関する先行研究で指摘された理論的問題を解消した。
• 階層的ARDモデルにおける周辺事前分布は、a,b→0 の極限でスパースな変分ドロップアウトで用いられる対数一様事前分布に収束し、両手法の間の原理的つながりを確立した。