[論文レビュー] Training-Free Uncertainty Estimation for Neural Networks

Mi Lu, Hao Wang+2 more|arXiv (Cornell University)|Sep 25, 2019

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

本論文は、推論時における制御された摂動の下での出力分散を分析することにより、トレーニングフリーの3つの手法—infer-transformation、infer-noise、infer-dropout—を導入し、深層ニューラルネットワークにおける不確実性を推定する。再トレーニングやアーキテクチャの変更なしに、最先端のトレーニング依存的手法と同等またはそれ以上の不確実性推定を達成でき、さらに、信号として用いることでモデルのトレーニングを向上させることすら可能である。

ABSTRACT

Uncertainty estimation is an essential step in the evaluation of the robustness for deep learning models in computer vision, especially when applied in risk-sensitive areas. However, most state-of-the-art deep learning models either fail to obtain uncertainty estimation or need significant modification (e.g., formulating a proper Bayesian treatment) to obtain it. None of the previous methods are able to take an arbitrary model off the shelf and generate uncertainty estimation without retraining or redesigning it. To address this gap, we perform the first systematic exploration into training-free uncertainty estimation. We propose three simple and scalable methods to analyze the variance of output from a trained network under tolerable perturbations: infer-transformation, infer-noise, and infer-dropout. They operate solely during inference, without the need to re-train, re-design, or fine-tune the model, as typically required by other state-of-the-art uncertainty estimation methods. Surprisingly, even without involving such perturbations in training, our methods produce comparable or even better uncertainty estimation when compared to other training-required state-of-the-art methods. Last but not least, we demonstrate that the uncertainty from our proposed methods can be used to improve the neural network training.

研究の動機と目的

• 事前学習済みの深層学習モデルにおける一般化可能な不確実性推定の欠如に対処すること、特にリスク感受性の高いコンピュータビジョン応用において。
• 再トレーニング、ベイジアン再実装、またはアーキテクチャの変更を必要とする既存手法の制限を克服すること。
• 微調整、再トレーニング、アーキテクチャの再設計なしに、任意の事前学習モデルに対して不確実性推定を可能にすること。
• 推論時における摂動のみで、トレーニング依存手法と同等の頑健な不確実性推定が得られるかどうかを調査すること。

提案手法

• infer-transformationの提案：推論時に入力に小さな許容可能な変換（例：小さな回転、クロップ）を適用し、出力分散を測定する。
• infer-noiseの導入：推論時に入力または活性化層に制御された小さなノイズを追加し、出力分散を不確実性の代理として追跡する。
• infer-dropoutの開発：同じネットワークに再トレーニングなしに推論時に確率的ドロップアウトを適用し、複数の順方向伝搬における分散を測定する。
• これらの摂動の下での複数回の順方向伝搬における分散を、モデルの不確実性の直接推定として使用する。
• すべての手法が推論時のみに作用することを保証し、トレーニングやモデルアーキテクチャの変更を一切不要としない。
• これらの手法による不確実性推定が、トレーニングサンプルの再重み付けに使用でき、微調整時のモデル一般化性能の向上に寄与することを実証する。

実験結果

リサーチクエスチョン

• RQ1 再トレーニングやアーキテクチャの変更なしに、事前学習済みの深層ニューラルネットワークにおける不確実性を信頼性高く推定できるか？
• RQ2 推論時における摂動（変換、ノイズ、ドロップアウト）は、トレーニング依存のベイジアン手法に比べて不確実性推定の質においてどのように比較されるか？
• RQ3 これらのトレーニングフリー手法による不確実性推定は、再トレーニング時に元のモデルの性能を向上させることができるか？
• RQ4 空間的、活性化、確率的といった異なる摂動タイプが、不確実性推定の安定性と正確性に与える影響は何か？

主な発見

• 提案されたトレーニングフリー手法は、最先端のトレーニング依存手法と同等またはそれ以上の不確実性推定性能を達成する。
• トレーニング時にいかなる摂動も施さなくても、推論時の分散分析により信頼性の高い不確実性推定が得られる。
• infer-noiseとinfer-dropoutによる不確実性推定は、トレーニングデータの再重み付けに使用でき、微調整時の一般化性能の向上に寄与する。
• これらの手法は、アーキテクチャの変更や再トレーニングなしに、任意の事前学習モデルに普遍的に適用可能である。
• infer-transformationは空間的に不変なタスクにおいて優れた性能を示す一方、infer-noiseとinfer-dropoutは多様なビジョンベンチマークにわたって良好に一般化する。
• このアプローチにより、再トレーニングが非現実的な実世界のリスク感受性の高い応用においても不確実性推定が可能になる。