[論文レビュー] Calibration of Model Uncertainty for Dropout Variational Inference

Max-Heinrich Laves, Sontje Ihler+2 more|arXiv (Cornell University)|Jun 20, 2020

Adversarial Robustness in Machine Learning参考文献 34被引用数 11

ひとこと要約

本論文は、モンテカルロドロップアウトによる変分推論からのモデルの不確実性を再キャリブレーションするためのロジットスケーリング技術（温度スケーリング、ベクトルスケーリング、補助スケーリング）を提案しており、期待不確実性キャリブレーション誤差（UCE）で測定された不確実性の不整合を顕著に低減している。この手法は、SOTAのCNNを用いたCIFAR-10/100およびSVHNにおいて、分布外の検出性能と不確実な予測の信頼性のある除外性能を向上させている。

ABSTRACT

The model uncertainty obtained by variational Bayesian inference with Monte Carlo dropout is prone to miscalibration. In this paper, different logit scaling methods are extended to dropout variational inference to recalibrate model uncertainty. Expected uncertainty calibration error (UCE) is presented as a metric to measure miscalibration. The effectiveness of recalibration is evaluated on CIFAR-10/100 and SVHN for recent CNN architectures. Experimental results show that logit scaling considerably reduce miscalibration by means of UCE. Well-calibrated uncertainty enables reliable rejection of uncertain predictions and robust detection of out-of-distribution data.

研究の動機と目的

• ベイジアンニューラルネットワークにおけるモンテカルロドロップアウトからの不確実性の不整合を是正すること。
• 不確実性の不整合を定量化するための新しい指標、期待不確実性キャリブレーション誤差（UCE）を導入すること。
• 頻度主義の信頼性キャリブレーション技術（ロジットスケーリング）をベイジアンモデルの不確実性に拡張すること。
• キャリブレーションされた不確実性が分布外検出性能と予測の信頼性を向上させることを実験的に検証すること。
• 単純なスケーリング手法が、より複雑な手法やトレーニング時の正則化手法を上回ることを示すこと。

提案手法

• 不確実性の不整合をクラスごとの指標として測定するため、期待不確実性キャリブレーション誤差（UCE）を提案する。
• 信頼性キャリブレーションから適応された温度スケーリング、ベクトルスケーリング、補助スケーリングを、モンテカルロドロップアウトによる変分推論における不確実性の再キャリブレーションに適用する。
• ガウスドロップアウトで訓練されたベイジアンニューラルネットワークの出力ロジットにロジットスケーリングを適用し、エピステミック不確実性の推定値を調整する。
• UCEを最小化する最適なスケーリングパラメータを学習するために、別個のキャリブレーションデータセットを用いる。
• ロジットスケーリングを不確実性キャリブレーションに用いる根拠を、エントロピー最大化の原則に基づいて正当化する。
• 信頼性図を用いてキャリブレーションを検証し、ResNet、DenseNet、その他のアーキテクチャを用いてCIFAR-10/100およびSVHNでの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 信頼性キャリブレーションに用いられるロジットスケーリング技術を、ベイジアンニューラルネットワークにおけるモデル不確実性のキャリブレーションに拡張可能か？
• RQ2 期待不確実性キャリブレーション誤差（UCE）は、モンテカルロドロップアウトからのエピステミック不確実性の不整合を測定するのにどの程度有効か？
• RQ3 ロジットスケーリングによる不確実性の再キャリブレーションは、キャリブレーションされていないMCドロップアウトに比べて、分布外検出性能を向上させるか？
• RQ4 不確実性のキャリブレーションは、不確実な予測の除外の信頼性にどのように影響するか？
• RQ5 単純なスケーリング手法（例：温度スケーリング）は、信頼性ペナルティのようなより複雑な手法やトレーニング時の正則化手法を上回るか？

主な発見

• ロジットスケーリングは期待不確実性キャリブレーション誤差（UCE）を顕著に低減し、温度スケーリングはより複雑な手法とほぼ同等の性能を示した。
• キャリブレーションされた不確実性により、不確実な予測の信頼性のある除外が可能となり、温度スケーリングまたはベクトルスケーリングを用いることでトップ1誤差が1%未満に低下した。
• ResNetおよびDenseNetでは、キャリブレーションされた不確実性が、分布外データに対して高い不確実性（50%以上）を維持し、信頼性の高いOoD検出を可能にした。
• 信頼性ペナルティは不確実性を過大評価し、特に大規模なモデルではキャリブレーションを悪化させる傾向にあった。
• MCドロップアウトからのベイジアン尤度は頻度主義の信頼性よりも本質的によりキャリブレーションが良く、ロジットスケーリングによりこのベースラインがさらに向上した。
• ベクトルスケーリングおよび補助スケーリングは不確実性キャリブレーションを向上させるが、予測精度に悪影響を及ぼす可能性があり、温度スケーリングとは異なり、精度を維持するとは限らない。