[論文レビュー] Qualitative Analysis of Monte Carlo Dropout

Ronald Seoh|arXiv (Cornell University)|Jul 3, 2020

Gaussian Processes and Bayesian Inference参考文献 16被引用数 30

ひとこと要約

この論文は、モンテカルロ (MC) ドロップアウトをベイズ神経網の実用的な変分推論法として分析し、定性的および経験的実験を通じて不確実性推定、利点、コストを詳述する。MCドロップアウトがエピステミック不確実性を捉える方法を強調し、ハイパーパラメータ、訓練要件、そしてアレータロック不確実性への潜在的拡張について議論する。

ABSTRACT

In this report, we present qualitative analysis of Monte Carlo (MC) dropout method for measuring model uncertainty in neural network (NN) models. We first consider the sources of uncertainty in NNs, and briefly review Bayesian Neural Networks (BNN), the group of Bayesian approaches to tackle uncertainties in NNs. After presenting mathematical formulation of MC dropout, we proceed to suggesting potential benefits and associated costs for using MC dropout in typical NN models, with the results from our experiments.

研究の動機と目的

• 神経ネットワークの不確実性を高リスク決定で定量化する必要性を動機づける。
• MCドロップアウトを変分推論アプローチとして説明し、GPとの関連を説明する。
• 定性的および実証分析を通じて MC dropout の実用的な利点とコストを評価する。
• ハイパーパラメータ、訓練要件、およびアレータロック不確実性への拡張の可能性について議論する。

提案手法

• ニューラルネットワークにおける不確実性の源泉（エピステミック対アレーターロック）を説明する。
• W_i = M_i · diag([Z_i,j]) および Z_i,j ~ Bernoulli(p_i) を用いた変分ベイズ推論アプローチとしての MC dropout の定式化を提示する。
• モンテカルロ平均を用いた T 回の確率的順伝播を通じて予測後方分布を導出する（Equation 10）。
• MC dropout をガウス過程近似と関連付け、ハイパーパラメータ（p, τ, l）を議論する。
• toy データおよび実データの実験を実施し、不確実性を可視化し、標準ドロップアウトと比較する（Figures 1–4, 5–9）。
• ヘテロセダスティック（入力依存性の）アレータロック不確実性（Equation 14）への拡張を検討する。

実験結果

リサーチクエスチョン

• RQ1 MC dropout はニューラルネットワークでどのような不確実性情報を捉えるのか？
• RQ2 ドロップアウト率、モデルの精度、訓練エポック数は予測不確実性と性能にどう影響するのか？
• RQ3 実データセットで MC dropout を使用することの実用的なコストと利点は何か？
• RQ4 MC dropout をヘテロセーダスティックなアレータロック不確実性へ拡張できるか？
• RQ5 安定した不確実性推定にはテスト時予測を何回行えば足りるのか？

主な発見

Size	RMSE (Dropout-Ron)	RMSE (Dropout-Gal)	LL (Dropout-Ron)	LL (Dropout-Gal)
yacht	2.82 \u0000B1 0.20	0.67 \u0000B1 0.05	-2.32 \u0000B1 0.07	-1.25 \u0000B1 0.01
bostonHousing	3.08 \u0000B1 0.19	2.90 \u0000B1 0.18	-2.88 \u0000B1 0.11	-2.40 \u0000B1 0.04
power-plant	4.19 \u0000B1 0.03	4.01 \u0000B1 0.04	-2.84 \u0000B1 0.01	-2.80 \u0000B1 0.01
naval-propulsion-plant	0.01 \u0000B1 0.00	0.00 \u0000B1 0.00	3.46 \u0000B1 0.01	4.45 \u0000B1 0.00

• MC dropout は複数回の確率的順伝播の平均を取ることにより不確実性推定を提供し、ベイズ後方分布を近似する。
• より高いドロップアウト率は予測不確実性を高め、過度な正則化により適合が悪化する可能性がある一方、モデルの精度 τ は加わる等方性ノイズを調整する。
• より多くの訓練エポックは不確実性推定の質を改善し、非常に少ないエポックは不確実性のパターンを過小評価する。
• MC dropout は一部の回帰タスク（例：yacht データセット）で予測性能を改善し、分割間のスコア分散を減らすことがあるが、標準ドロップアウトに対する改善は全データセット（Boston Housing、CIFAR-10 CNNs）で普遍的ではない。
• テスト予測を少数行う（約50回程度）だけで、一般的な設定では安定した不確実性推定を得られることが多い；より多くの予測は利得が減少する。
• MC dropout をヘテロセーダスティックなアレータロック不確実性（τ(x)）へ拡張することは全体的な予測不確実性を捉えることが可能だが、エピステミックとアレータロックの分離は依然として難題である。