[論文レビュー] Posterior Concentration for Sparse Deep Learning

Nicholas G. Polson, Veronika Ročková|arXiv (Cornell University)|Mar 24, 2018

Domain Adaptation and Few-Shot Learning被引用数 20

ひとこと要約

本稿では、スパarsity誘導事前分布を用いて深層ReLUネットワークを正則化する完全ベイジアン手法であるスパイクアンドスラブ深層学習（SS-DL）を提案する。この手法により、α-ホルダー滑らかさ関数に対して、近似ミニマックスレートに近い最適な事後分布集中が達成される。未知の滑らかさレベルを事前知識なしに適応的に回復可能であり、一般化とモデル選択において理論的最適性を示す。

ABSTRACT

Spike-and-Slab Deep Learning (SS-DL) is a fully Bayesian alternative to Dropout for improving generalizability of deep ReLU networks. This new type of regularization enables provable recovery of smooth input-output maps with unknown levels of smoothness. Indeed, we show that the posterior distribution concentrates at the near minimax rate for $α$-Hölder smooth maps, performing as well as if we knew the smoothness level $α$ ahead of time. Our result sheds light on architecture design for deep neural networks, namely the choice of depth, width and sparsity level. These network attributes typically depend on unknown smoothness in order to be optimal. We obviate this constraint with the fully Bayes construction. As an aside, we show that SS-DL does not overfit in the sense that the posterior concentrates on smaller networks with fewer (up to the optimal number of) nodes and links. Our results provide new theoretical justifications for deep ReLU networks from a Bayesian point of view.

研究の動機と目的

• 未知の関数滑らかさレベルに適応する完全ベイジアン深層学習フレームワークの構築を目的とする。
• 関数の滑らかさに関する事前知識がなくても、最適なネットワークアーキテクチャ設計（深さ、幅、スパarsity）の課題に取り組むことを目的とする。
• 非パラメトリックベイジアン枠組みにおける事後分布集中レートを通じて、深層ReLUネットワークの理論的裏付けを提供することを目的とする。
• SS-DLが過学習を回避し、活性ノードおよび接続数が少ない最適なネットワークに集中することを示すこと

提案手法

• 本手法は、ネットワーク重みおよび接続パターンにスパイクアンドスラブ事前分布を適用し、スパース構造上のベイジアンモデル平均化を可能にする。
• 重みおよび接続レベルの両方でスパarsityを誘導する階層的事前分布構造を用いて、深層ReLUネットワークをモデル化する。
• スieve事前分布およびメトリックエントロピーの議論を用いて、事後分布の集中レートを分析する。
• 理論的分析では、深層ReLUネットワークの近似理論（Schmidt-Hieber, 2017）を活用し、関数クラスの複雑さを制限する。
• 覆い数の境界および事前分布集中不等式を用いて、最適なレートで事後分布が収縮することを導出する。
• ネットワーク層内にℓ₀正則化を組み込み、後方確率に基づく適応的サブセット選択とモデル平均化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 完全ベイジアン深層学習モデルは、未知の滑らかさレベルを持つ深層ReLUネットワークに対して、最適な事後分布集中レートを達成できるか？
• RQ2 ドロップアウトと比較して、スパイクアンドスラブ正則化は一般化性能およびモデル選択においてどのように異なるか？
• RQ3 事後分布は、過剰に複雑なアーキテクチャに過学習するのではなく、より小さな最適なネットワークに集中するか？
• RQ4 事前にαを知らなくても、この手法はα-ホルダー滑らかさ関数を適応的に回復できるか？
• RQ5 スパarsity誘導事前分布を有する深層非線形モデルにおける事後分布集中に対して、どのような理論的保証を提供できるか？

主な発見

• α-ホルダー滑らかさ関数に対して、事後分布は近似ミニマックスレートに集中し、滑らかさレベルαが事前に分かっているかのように最適な性能を達成する。
• 真の滑らかさレベルが未知であっても、最適な事後分布集中が達成され、適応的回復が実現される。
• SS-DLは、活性ノードおよび接続数が少ない最適なネットワークに集中することで、過学習を回避する。
• 事後分布集中レートは、d > 0 に対して e^(-d n ε_n²) で抑えられ、p次元入力の場合に ε_n ~ n^(-α/(2α+p)) となる。これはミニマックスレートと一致する。
• 事前分布は正しいネットワークサイズおよびスパarsityパターンに十分な質量を割り当てており、事後分布が真の関数の周囲で最適なレートで収縮することを保証する。
• 理論的分析により、sieve事前分布の複雑さが n^(p/(2α+p)) log²(n) で制御されることを確認し、最適な事後分布集中と整合的であることが示された。