[論文レビュー] Dropout Distillation for Efficiently Estimating Model Confidence

Corina Gurău, Alex Bewley+1 more|arXiv (Cornell University)|Sep 27, 2018

Adversarial Robustness in Machine Learning参考文献 2被引用数 18

ひとこと要約

本稿では、教師ネットワークからのモンテカルロドロップアウトサンプルを模倣するように学生ネットワークを訓練することで、標準的なニューラルネットワークにおけるモデルのキャリブレーションを向上させるドロップアウト蒸留ネットワーク（DDN）を提案する。テスト時に単一のフォワードパスのみを必要としながら、100個のMCサンプルと同等の不確実性推定を達成する。DDNはサンプリングを必要とせず、精度とキャリブレーションの両方を向上させるため、リアルタイムデプロイに適している。

ABSTRACT

We propose an efficient way to output better calibrated uncertainty scores from neural networks. The Distilled Dropout Network (DDN) makes standard (non-Bayesian) neural networks more introspective by adding a new training loss which prevents them from being overconfident. Our method is more efficient than Bayesian neural networks or model ensembles which, despite providing more reliable uncertainty scores, are more cumbersome to train and slower to test. We evaluate DDN on the the task of image classification on the CIFAR-10 dataset and show that our calibration results are competitive even when compared to 100 Monte Carlo samples from a dropout network while they also increase the classification accuracy. We also propose better calibration within the state of the art Faster R-CNN object detection framework and show, using the COCO dataset, that DDN helps train better calibrated object detectors.

研究の動機と目的

• 標準的なニューラルネットワークが不確実性推定において過信しすぎることによる、実世界への展開の制限を解消すること。
• テスト時に高コストなサンプリングを必要とするベイジアンニューラルネットワークやモデルアンサンブルの計算効率の悪い代替手法を提供すること。
• モデル容量を低下させることなく、モンテカルロドロップアウトサンプルからの不確実性知識を蒸留することで、モデルのキャリブレーションを向上させること。
• 学生・教師の蒸留フレームワークを用いて、画像分類およびオブジェクト検出タスクにおけるキャリブレーションと精度の両方を向上させること。

提案手法

• 訓練データ上で分類精度を最大化するように教師ネットワークを訓練する。
• 訓練中に教師ネットワークからのモンテカルロドロップアウトサンプルを生成し、事後予測分布を近似する。
• 教師のモンテカルロサンプルの出力確率を模倣するように学生ネットワーク（DDN）を訓練する。新しい蒸留損失関数を用い、過信を罰する。
• 訓練中に蒸留損失を適用し、学生がより信頼性が高く、良好にキャリブレートされた不確実性スコアを出力するよう促す。
• テスト時にサンプリングを避けるために、訓練済みのDDNを単一のフォワードパスで推論に使用する。
• CIFAR-10における画像分類およびFaster R-CNNにおけるCOCOオブジェクト検出に対してDDNを評価し、ベースラインおよびMCドロップアウトと比較してキャリブレーションと精度を検証する。

実験結果

リサーチクエスチョン

• RQ1 テスト時にサンプリングを必要としない非ベイジアンニューラルネットワークは、テスト時により内省的で、より良好にキャリブレートされたものにできるか？
• RQ2 モンテカルロドロップアウトサンプルからの知識蒸留は、標準ネットワークにおける不確実性推定を向上させることができるか？
• RQ3 提案手法は、100個のドロップアウトサンプルに匹敵するキャリブレーション性能を達成するが、より効率的か？
• RQ4 DDNは、画像分類およびオブジェクト検出において、同時にモデルのキャリブレーションと精度を向上させることができるか？
• RQ5 モデルアンサンブルやベイジアンニューラルネットワークといった最先端手法と比較して、DDNはキャリブレーションと推論速度の面で優れているか？

主な発見

• DDNは、テスト時に単一のフォワードパスのみを必要としながら、ドロップアウトネットワークからの100個のモンテカルロサンプルと同等のキャリブレーション性能を達成した。
• 精度が主な目的でないにもかかわらず、ベースラインモデルよりも分類精度が向上した。
• CIFAR-10では、テストサンプルの83.23％がDDNによって真のクラスに高い確率が割り当てられており、特にベースラインが過信していた場合に顕著であった。
• COCOにおけるFaster R-CNNオブジェクト検出では、DDNが誤検出の信頼度スコアを低下させつつ、真の陽性に対して高い信頼度を維持し、検出器の内省的性能を向上させた。
• 誤分類されたサンプルの70％において、DDNは真のクラスにベースラインよりも高い確率を割り当てており、6.56％のケースでは両モデルが失敗したが、DDNは誤ったクラスに対して低い信頼度を割り当てた。
• DDNは、鳥を飛行機や犬を猫に誤分類するような曖昧または困難な例において、過信を軽減し、よりバランスの取れた確率分布を割り当てることに成功した。