[論文レビュー] Sampling-based Bayesian Inference with gradient uncertainty

Chanwoo Park, Jae Myung Kim+2 more|arXiv (Cornell University)|Dec 8, 2018

Adversarial Robustness in Machine Learning参考文献 16被引用数 8

ひとこと要約

本稿では、ミニバッチ内の確率的勾配同士の内積の和として測定される勾配の不確実性を用いて、局所最適解への収束を検出し、パラメータのサンプリングをトリガーする、新たなサンプリングベースのベイジアン推論手法を提案する。この手法は、分布内および分布外の設定において予測の過信を低減することで、予測不確実性の推定を改善し、MNISTおよびnotMNISTベンチマークにおいてSGLDおよびドロップアウトベースの手法を上回る性能を発揮する。

ABSTRACT

Deep neural networks(NNs) have achieved impressive performance, often exceed human performance on many computer vision tasks. However, one of the most challenging issues that still remains is that NNs are overconfident in their predictions, which can be very harmful when this arises in safety critical applications. In this paper, we show that predictive uncertainty can be efficiently estimated when we incorporate the concept of gradients uncertainty into posterior sampling. The proposed method is tested on two different datasets, MNIST for in-distribution confusing examples and notMNIST for out-of-distribution data. We show that our method is able to efficiently represent predictive uncertainty on both datasets.

研究の動機と目的

• 医療診断や自動運転などの安全が重要な応用分野において顕著な過信予測が生じるという、深刻な問題に対処すること。
• サンプリングベースのベイジアン推論に勾配の不確信を組み込むことで、予測不確実性の推定を改善すること。
• 勾配が局所最適解に近いことを示唆する際にのみ事後分布のサンプリングを開始する、計算効率の高い手法を開発すること。
• SGLDおよびドロップアウトベースのベイジアン近似手法と比較して、実世界のベンチマークデータセットにおいて、分布内（MNIST）および分布外（notMNIST）の両方のデータで優れた不確実性評価を実現すること。

提案手法

• ミニバッチ内に含まれるすべての確率的勾配ペア間の内積の和として勾配不確実性を定義する：$\sum_{i \neq j} \langle X_i, X_j \rangle$、ここで$X_i = \nabla_\theta J(\theta; x^{(i)}, y^{(i)})$。
• この勾配不確実性を、勾配にゼロ平均のガウスノイズが存在するため、低値を示すことで局所最適解への収束が起こったと判断する信号として用いる。
• 勾配不確実性が事前に定めたしきい値を下回った場合にのみ、パラメータのサンプリングを開始し、局所最小値付近でのみサンプリングが行われるようにする。
• 局所モードから脱出するためおよびパrameter空間を探索するため、サンプリングステップ中にのみ適応的ノイズを注入する確率的勾配ランジュヴィンダイナミクス（SGLD）を適用する。
• 勾配不確実性が高いうちは、標準的なSGD更新を継続し、不要なサンプリングを回避することで、学習効率を維持する。
• エントロピーなどの不確実性指標を計算するために、60サンプルのモンテカルロサンプリングにより事後予測分布を近似する。

実験結果

リサーチクエスチョン

• RQ1 勾配の不確実性は、確率的最適化の過程で局所最適解への収束を検出する信頼できる信号として用いられるか？
• RQ2 サンプリングベースのベイジアン推論に勾配不確実性を組み込むことで、曖昧な分布内例における予測不確実性の推定が改善されるか？
• RQ3 提案手法は、ベースライン手法と比較して、分布外入力の識別を効果的に行い、低い信頼度を割り当てられるか？
• RQ4 実世界のベンチマークデータセットにおいて、SGLDおよびドロップアウトベースのベイジアン近似手法と比較して、提案手法の不確実性推定の質は向上するか？

主な発見

• 提案手法は、混乱しやすいMNISTの数字（例：4, 5, 7）に対して、妥当な誤分類に集中した確率を示す多様でうまくキャリブレーションされた予測出力を得る。これは、過信の強いベースラインとは対照的である。
• notMNISTの分布外データに対しては、より平坦な予測事後分布が生成され、より信頼できる不確実性推定を示している。
• 分布外データにおける予測エントロピーは、提案手法で1.355であったのに対し、SGLD（0.107）およびドロップアウト（0.665）は著しく低く、過信が減少していることが確認された。
• 提案手法は、分布内MNISTデータで98.05%のテスト精度を達成し、SGLD（95.34%）を上回った。同時に、優れた不確実性キャリブレーションを維持した。
• 勾配不確実性は、局所最適解付近の領域を効果的に特定でき、全データ計算や受容ステップを必要とせずに、標的的なサンプリングを可能にする。
• 勾配不確実性はミニバッチ上で計算されるため、各イテレーションで全バッチ計算を避けることができ、計算効率が高くなる。