[論文レビュー] Confidence Calibration for Convolutional Neural Networks Using Structured Dropout

Zhilu Zhang, Adrian V. Dalca+1 more|arXiv (Cornell University)|Jun 23, 2019

Adversarial Robustness in Machine Learning参考文献 44被引用数 41

ひとこと要約

この論文はMCドロップアウトをアンサンブルとして扱い、構造化ドロップアウト（DropBlock、DropChannel、DropLayer）が標準のMCドロップアウトおよびディープエンサンブルに対してモデルの多様性を高め、信頼性キャリブレーションを改善することを示している。精度も競争力を持つ。

ABSTRACT

In classification applications, we often want probabilistic predictions to reflect confidence or uncertainty. Dropout, a commonly used training technique, has recently been linked to Bayesian inference, yielding an efficient way to quantify uncertainty in neural network models. However, as previously demonstrated, confidence estimates computed with a naive implementation of dropout can be poorly calibrated, particularly when using convolutional networks. In this paper, through the lens of ensemble learning, we associate calibration error with the correlation between the models sampled with dropout. Motivated by this, we explore the use of structured dropout to promote model diversity and improve confidence calibration. We use the SVHN, CIFAR-10 and CIFAR-100 datasets to empirically compare model diversity and confidence errors obtained using various dropout techniques. We also show the merit of structured dropout in a Bayesian active learning application.

研究の動機と目的

• CNNにおける不確実性を反映した確率的予測を動機づけ、MCドロ dropoutによるキャリブレーションの誤りに対処する。
• ドロップアウトをアンサンル Sampling として位置づけ、キャリブレーション誤差をモデルの多様性と結びつける。
• 多様性を促進しキャリブレーションを改善するための構造化ドロップアウトを提案する。
• SVHN、CIFAR-10、CIFAR-100で構造化ドロップアウトの変種を実証的に比較する。
• ベイズ的アクティブラーニングに構造化ドロップアウトを適用し、データ取得の実践的な利点を示す。

提案手法

• MCドロップアウトをドロップアウトモデルのアンサンブルとして捉え、集合不確実性と平均二乗誤差（MSE）分解を通じてキャリブレーションをアンサンブル多様性と関連づける。
• 構造化ドロップアウト変種を導入する：DropBlock（パッチレベル）、DropChannel（チャネルレベル）、DropLayer（レイヤーレベル）。
• これらのドロップアウトを用いて訓練し、テスト時MCサンプル（T=30）で不確実性指標（ECE、NLL、Brier）と精度を評価する。
• PreAct-ResNet変種を用いてSVHN、CIFAR-10、CIFAR-100に対して通常のドロップアウトおよびディープエンサンルを比較する。
• Interrater Agreement（IA）でアンサンブル多様性を評価し、信頼性図を用いてキャリブレーションを検討する。
• 構造化ドロップアウトをベイズ的アクティブラーニングに適用し、MCドロップアウトと比較してデータ取得の意思決定が改善されることを示す。

実験結果

リサーチクエスチョン

• RQ1 構造化ドロップアウトは標準のドロップアウトと比べてCNNアンサンブルの多様性を高められるか？
• RQ2 構造化ドロップアウトによる多様性の向上は、精度を損なうことなく信頼性キャリブレーション（ECE、NLL、Brier）を改善するか？
• RQ3 構造化ドロップアウト変種はキャリブレーションと不確実性指標でディープエンサンルに対してどのように性能を発揮するか？
• RQ4 アクティブラーニングのシナリオで構造化ドロップアウトには実践的な利点があるか？

主な発見

Dataset	Model	Accuracy	NLL	Brier (×10^-3)	ECE (×10^-2)	Dropout Rate
SVHN	Deterministic	95.7±0.1	0.289±0.011	7.41±0.21	3.20±0.11	0.0
SVHN	Dropout	96.7±0.1	0.131±0.004	5.18±0.15	1.00±0.08	0.35
SVHN	DropBlock	96.6±0.1	0.136±0.004	5.38±0.14	1.06±0.08	0.1
SVHN	DropChannel	96.8±0.1	0.128±0.004	5.12±0.13	0.86±0.08	0.2
SVHN	DropLayer	96.1±0.1	0.147±0.004	5.83±0.16	0.56±0.08	0.25
SVHN	Deep Ensemble	96.5±0.1	0.179±0.008	5.39±0.16	1.09±0.08	0.0
CIFAR-10	Deterministic	93.7±0.2	0.333±0.015	10.6±0.40	4.52±0.21	0.0
CIFAR-10	Dropout	93.3±0.2	0.212±0.009	9.87±0.34	1.60±0.19	0.2
CIFAR-10	DropBlock	93.6±0.2	0.198±0.007	9.67±0.30	0.85±0.16	0.1
CIFAR-10	DropChannel	93.6±0.2	0.195±0.007	9.38±0.29	0.89±0.17	0.15
CIFAR-10	DropLayer	94.1±0.2	0.202±0.007	8.96±0.30	1.35±0.18	0.1
CIFAR-10	Deep Ensemble	95.2±0.2	0.183±0.010	7.52±0.29	1.47±0.16	0.0
CIFAR-100	Deterministic	74.6±0.4	1.42±0.03	4.00±0.07	15.7±0.38	0.0
CIFAR-100	Dropout	74.7±0.4	1.15±0.02	3.63±0.05	9.29±0.34	0.2
CIFAR-100	DropBlock	75.4±0.4	1.02±0.02	3.46±0.05	5.45±0.35	0.15
CIFAR-100	DropChannel	75.4±0.4	0.986±0.02	3.40±0.05	3.64±0.33	0.15
CIFAR-100	DropLayer	76.2±0.4	0.975±0.02	3.32±0.05	3.08±0.33	0.25
CIFAR-100	Deep Ensemble	78.4±0.4	0.910±0.020	3.05±0.05	5.00±0.31	0.0

• MC dropChannelとMC dropLayerはデータセットを跨いで最も良い信頼性キャリブレーションを達成し、ECEでディープエンサンルを上回ることが多い。
• 構造化ドロップアウトは通常のドロップアウトよりも多様なアンサンブル予測を生み出し、Interrater Agreement（IA）が低く、信頼性図がよりシャープであることを示す。
• SVHN、CIFAR-10、CIFAR-100では、構造化ドロップアウトは通常のドロップアウトと比べてNLLとECEを低減し、精度は同等かそれ以上であることが多い。
• MC dropLayerはドロップアウト率の選択に対する頑健性を示し、特に難しいデータセットで標準ドロップアウトよりもキャリブレーションに適している可能性がある。
• ベイズ的アクティブラーニングでは、構造化ドロップアウトはMCドロップアウトと比べてラベルデータの獲得から得られる精度向上を改善する。