[論文レビュー] Estimating Model Uncertainty of Neural Networks in Sparse Information Form

Jong‐Seok Lee, Matthias Humt+2 more|arXiv (Cornell University)|Jun 20, 2020

Sparse and Compressive Sensing Techniques参考文献 58被引用数 12

ひとこと要約

この論文は、スペクトル領域における情報行列（逆共分散）のスパarsityに着目し、スパースな情報形式表現を用いて深層ニューラルネットワークにおけるモデルの不確実性を表現する手法を提案する。低ランク近似と新しいスパース化アルゴリズムを活用することで、解析的サンプリングを可能にするスケーラブルなベイジアンディープラーニングを実現し、複数のベンチマークで不確実性推定と効率性の分野で最先端の性能を達成した。

ABSTRACT

We present a sparse representation of model uncertainty for Deep Neural Networks (DNNs) where the parameter posterior is approximated with an inverse formulation of the Multivariate Normal Distribution (MND), also known as the information form. The key insight of our work is that the information matrix, i.e. the inverse of the covariance matrix tends to be sparse in its spectrum. Therefore, dimensionality reduction techniques such as low rank approximations (LRA) can be effectively exploited. To achieve this, we develop a novel sparsification algorithm and derive a cost-effective analytical sampler. As a result, we show that the information form can be scalably applied to represent model uncertainty in DNNs. Our exhaustive theoretical analysis and empirical evaluations on various benchmarks show the competitiveness of our approach over the current methods.

研究の動機と目的

• ベイジアンニューラルネットワークにおける全共分散行列の表現に伴う計算コストの非効率性を解消すること。
• 情報行列（逆共分散）のスペクトルスパarsityを活用して、効率的な不確実性表現を実現すること。
• 情報行列の固有基底におけるKronecker構造を保持する低ランク近似法の開発。
• 情報形式における事後分布のメモリ効率の良い解析的サンプラーの導出。
• 不確実性のキャリブレーションと分布外検出において、最先端の性能を実証すること。

提案手法

• 事後分布を、平均と共分散ではなく情報ベクトルと情報行列でパラメータ化した多変量正規分布の情報形式として表現する。
• Kronecker因数分解された情報行列に対して低ランク近似（LRA）を適用し、固有分解を介してそのスペクトル構造を保持する。
• 低ランク削減中にKronecker積構造を維持するスペクトルスパース化アルゴリズムを導入する。
• 空間複雑度をO(N³)からO(L³)に削減する解析的サンプラーを導出する。ここでLは低ランク次元である。
• 不確実性推定の精度向上を図るため、対角分散補正を改善したラプラス近似を採用する。
• 標準的なディープラーニングパイプラインへの実用的導入を可能にするプラグインコードベースを活用する。

実験結果

リサーチクエスチョン

• RQ1 DNNの情報行列におけるスペクトルスパarsityは、スケーラブルなベイジアンディープラーニングを可能にするか？
• RQ2 情報行列の低ランク近似は、効率的な計算に不可欠なKronecker構造を保持できるか？
• RQ3 提案手法の情報形式は、従来手法に比べてより正確かつ効率的な不確実性推定を可能にするか？
• RQ4 キャリブレーションとOOD検出の観点で、本手法はベースライン手法と比較してどのように性能を発揮するか？
• RQ5 本手法のサンプリングおよび情報行列計算における計算オーバーヘッドはどの程度か？

主な発見

• DNNにおける情報行列は顕著なスペクトルスパarsityを示しており、効果的な低ランク近似が可能である。
• 提案手法は、ImageNetを含む複数のベンチマークで、不確実性のキャリブレーションとOOD検出の分野で最先端の性能を達成した。
• 低ランク演算の効率性により、ResNetアーキテクチャ上でのINFサンプリングはKFACやEFBよりも高速であり、ResNet18では4.74msのサンプリング時間となった。
• 情報行列の計算は実用的であり、ImageNetでは全手法で1日未満で完了し、INFとEFBはKFACに比べて無視できるほどの追加オーバーヘッドしか与えない。
• DenseNetアーキテクチャでは、多数の小さな層があるため低ランク近似の利点が減少し、メモリ使用量が低いにもかかわらずKFACよりサンプリングが遅くなった。
• 決定的ネットワークと比較して、本手法はキャリブレーション誤差を顕著に低減し、SWAGやSWAを上回る不確実性推定性能を示した。