[論文レビュー] Uncertainty Quantification for Sparse Deep Learning

Yuexi Wang, Veronika Ročková|arXiv (Cornell University)|Feb 26, 2020

Gaussian Processes and Bayesian Inference参考文献 54被引用数 9

ひとこと要約

この論文は、非パラメトリック回帰におけるスパースな深層ReLUニューラルネットワークに対して、半パラメトリックなベルンシュタイン＝フォン・ミーゼスの定理を確立し、線形および2次関数型の事後分布が漸近的に正規分布に従うことを示している。これは、深層学習におけるベイジアンの不確実性の定量的評価に理論的裏付けを提供し、正規性条件のもとでスパースな深層ネットワークからの信頼区間が頻度主義的カバレッジを有効に持つことを示している。

ABSTRACT

Deep learning methods continue to have a decided impact on machine learning, both in theory and in practice. Statistical theoretical developments have been mostly concerned with approximability or rates of estimation when recovering infinite dimensional objects (curves or densities). Despite the impressive array of available theoretical results, the literature has been largely silent about uncertainty quantification for deep learning. This paper takes a step forward in this important direction by taking a Bayesian point of view. We study Gaussian approximability of certain aspects of posterior distributions of sparse deep ReLU architectures in non-parametric regression. Building on tools from Bayesian non-parametrics, we provide semi-parametric Bernstein-von Mises theorems for linear and quadratic functionals, which guarantee that implied Bayesian credible regions have valid frequentist coverage. Our results provide new theoretical justifications for (Bayesian) deep learning with ReLU activation functions, highlighting their inferential potential.

研究の動機と目的

• 深層学習、特にベイジアンフレームワークにおける不確実性の定量的評価に理論的裏付けが欠けているという問題に取り組む。
• スパースな事前分布を用いた深層ReLUネットワークに対して、半パラメトリックなベルンシュタイン＝フォン・ミーゼス（BvM）定理を確立する。
• 回帰関数の関数型に対する事後信頼領域が、頻度主義的カバレッジを有効に持つことを示す。
• 事後分布の漸近的正規性を通じて、エピステミックなベイジアンの不確実性とアレアトリックな頻度主義的推論を橋渡しする。

提案手法

• スパースな深層ReLUネットワーク事前分布を用いたベイジアン階層モデルを採用し、スパース性をスパイクアンドスラブ事前分布によって実装する。
• ベイジアン非パラメトリクスの手法を用いて、低次元の関数型における事後分布の漸近的挙動を分析する。
• モーメント生成関数の収束を示すことで、線形関数型における事後分布の漸近的正規性を確立する。
• 2次関数型については、射影および近似誤差のバウンドを活用して、事後分布が真の関数値の周囲に集中する条件を導出する。
• 真の回帰関数およびネットワークアーキテクチャに正則性条件を課し、スパース性および深さの制約を含む。
• シーブベースのアプローチを採用し、事後分布の集中を保証するために、増大するが有限次元の深層ネットワークの部分集合に制限して分析を行う。

実験結果

リサーチクエスチョン

• RQ1 スパースな深層ReLUネットワークの関数型に対するベイジアン信頼区間は、非パラメトリック回帰において有効な頻度主義的カバレッジを達成できるか？
• RQ2 深層ReLUネットワークの事後分布が、真の回帰関数の周囲に集中する条件は何か？
• RQ3 回帰関数の線形および2次関数型は、スパースな深層ネットワーク事前分布のもとで漸近的に正規分布に従うか？
• RQ4 高次元かつ非正則な深層学習モデルにおける、半パラメトリック関数型に対してベルンシュタイン＝フォン・ミーゼス現象が成立するか？
• RQ5 スパースな深層学習アーキテクチャにおいて、ベイジアン不確実性の頻度主義的キャリブレーションは理論的に裏付けられるか？

主な発見

• スパースな深層ReLUネットワークにおける線形関数型の事後分布は漸近的に正規分布に従い、事後分散はフィッシャー情報量の逆数に収束する。
• L^2ノルムなどの2次関数型では、事後分布が真の値の周囲に集中し、モーメント生成関数が正規分布のものに収束する。
• 真の関数が適切なスパース性を満たす深層ReLUネットワークのシーブに含まれる限り、線形および2次関数型の両方においてベルンシュタイン＝フォン・ミーゼス現象が成立する。
• 研究対象の関数型に対して、事後分布から導かれる信頼領域は、漸近的に有効な頻度主義的カバレッジを達成する。
• シーブ条件が満たされる限り、ネットワークの深さ、幅、スパース構造に関するモデルの不確実性に対しても、結果は頑健である。
• 理論的裏付けは、先行研究（Polson & Rockova, 2018）で確立されたスパースな深層ReLUネットワークの最適な事後収束レートに依存している。