[論文レビュー] Notes on the Behavior of MC Dropout

Francesco Verdoja, Ville Kyrki|arXiv (Cornell University)|Aug 6, 2020

Adversarial Robustness in Machine Learning参考文献 16被引用数 27

ひとこと要約

この論文は、深層ニューラルネットワークにおける不確実性推定のためのモンテカルロドロップアウト（MCD）について、理論的および実験的分析を提供しており、MCDによる不確実性が本質的にバイアスを伴い、ネットワーク出力の大きさおよびドロップアウト率に比例することを明らかにしている。研究では、MCDの分散がデータの分散ではなく、特にドロップアウトの配置とレートに依存するという点を示しており、信頼性の高い不確実性推定のためには、ハイパーパrameterの慎重な調整とアーキテクチャ設計が不可欠であることを示唆している。

ABSTRACT

Among the various options to estimate uncertainty in deep neural networks, Monte-Carlo dropout is widely popular for its simplicity and effectiveness. However the quality of the uncertainty estimated through this method varies and choices in architecture design and in training procedures have to be carefully considered and tested to obtain satisfactory results. In this paper we present a study offering a different point of view on the behavior of Monte-Carlo dropout, which enables us to observe a few interesting properties of the technique to keep in mind when considering its use for uncertainty estimation.

研究の動機と目的

• 単純な線形ネットワークにおけるモンテカルロドロップアウト（MCD）の理論的挙動を理解し、それをより深い非線形モデルに拡張する。
• MCDによる不確実性推定の品質に顕著に影響を与えるアーキテクチャ的およびトレーニング上の選択を特定する。
• 特に重みの最適収束と期待出力のバイアスに関する、先行の理論的分析を是正・拡張する。
• 複雑なネットワークにおける出力の大きさおよびドロップアウトレートに伴う不確実性スケーリングの理論的発見を実験的に検証する。
• 実世界の応用において不確実性のキャリブレーションを向上させるために、ドロップアウトレートとレイヤー配置を効果的に選択するための指針を提供する。

提案手法

• ドロップアウトマスクがベルヌーイ分布に従う単一層線形ネットワークの理論的分析を行い、期待出力および分散を導出する。
• 平均二乗誤差を最小化する最適重みの導出を行い、重みが一様に収束する場合に期待出力に体系的なバイアスが生じることを示す。
• 期待出力および分散をドロップアウトレート $p_d$ およびネットワークサイズ $K$ の関数として表現し、$p_d$ および $K$ に依存するが、データサイズや分散には依存しないことを明らかにする。
• 真の不確実性が既知の合成データセットを用いてトレーニングされた非線形ネットワークにおける実験的評価。対象はノイズを含む定数関数および決定的関数である。
• 異なるアーキテクチャ間でのMCD不確実性の比較：最終層にバイアスがある・ない、およびドロップアウトレートを変化させた場合。
• 入力ごとに300回の順方向伝搬を実行し、平均および標準偏差を推定し、不確実性を $\sigma$、$2\sigma$、$3\sigma$ のバンドとして可視化する。

実験結果

リサーチクエスチョン

• RQ1 重みが一様に収束する場合、モンテカルロドロップアウトネットワークの期待出力は真のターゲットからどれほどずれるか？
• RQ2 線形モデルにおけるMCD分散は、ドロップアウトレート $p_d$ およびネットワークサイズ $K$ にどのように依存するか？
• RQ3 なぜMCD不確実性はデータサイズの増加に伴って集中しないのか？ これは不確実性キャリブレーションにどのように影響するか？
• RQ4 最終層にバイアス項が存在する場合、MCD不確実性推定にどのような影響を与えるか？
• RQ5 MCD不確実性は、ネットワークの予測出力の大きさにどの程度比例してスケーリングするか？

主な発見

• 線形MCDネットワークの期待出力は真のターゲットに対してバイアスを示すが、ネットワークサイズ $K$ が大きくなるにつれてバイアスは減少する。
• MCD予測の分散はドロップアウトレート $p_d$ およびユニット数 $K$ に依存するが、トレーニングサンプル数 $n$ やデータ分散には依存しない。
• 最終線形層にバイアス項がある場合、MCDはすべての重み値をゼロにシフトさせ、出力をバイアスに符号化することで不確実性を完全に抑制し、分散をゼロにすることがある。
• 最終層にバイアスがない場合、MCDは出力の大きさに依存するが入力に依存しない、ドロップアウトレート $p_d$ 比例の定数不確実性を生成する。
• MCD不確実性は予測出力の大きさに比例してスケーリングする。これは、出力の大きさが大きくばらつきが生じるタスクでは不確実性の品質を劣化させる可能性がある。
• 線形モデルからの理論的知見は、より深い非線形ネットワークにおいても成立し、ドロップアウトレートおよびレイヤー配置が不確実性キャリブレーションに顕著に影響することを確認した。