[論文レビュー] A Survey of Uncertainty in Deep Neural Networks

Jakob Gawlikowski, Cedrique Rovile Njieutcheu Tassi+12 more|arXiv (Cornell University)|Jul 7, 2021

Fault Detection and Control Systems被引用数 242

ひとこと要約

深層ニューラルネットワークにおける不確実性の源、推定方法、較正、実世界の課題を網羅的に整理したレビューで、ベイズ法、アンサンブル、テスト時拡張法を含むアプローチを含む。

ABSTRACT

Due to their increasing spread, confidence in neural network predictions became more and more important. However, basic neural networks do not deliver certainty estimates or suffer from over or under confidence. Many researchers have been working on understanding and quantifying uncertainty in a neural network's prediction. As a result, different types and sources of uncertainty have been identified and a variety of approaches to measure and quantify uncertainty in neural networks have been proposed. This work gives a comprehensive overview of uncertainty estimation in neural networks, reviews recent advances in the field, highlights current challenges, and identifies potential research opportunities. It is intended to give anyone interested in uncertainty estimation in neural networks a broad overview and introduction, without presupposing prior knowledge in this field. A comprehensive introduction to the most crucial sources of uncertainty is given and their separation into reducible model uncertainty and not reducible data uncertainty is presented. The modeling of these uncertainties based on deterministic neural networks, Bayesian neural networks, ensemble of neural networks, and test-time data augmentation approaches is introduced and different branches of these fields as well as the latest developments are discussed. For a practical application, we discuss different measures of uncertainty, approaches for the calibration of neural networks and give an overview of existing baselines and implementations. Different examples from the wide spectrum of challenges in different fields give an idea of the needs and challenges regarding uncertainties in practical applications. Additionally, the practical limitations of current methods for mission- and safety-critical real world applications are discussed and an outlook on the next steps towards a broader usage of such methods is given.

研究の動機と目的

• 深層ニューラルネットワークにおける不確実性の源とタイプを特定し分類する（データ不確実性 vs. モデル不確実性）。
• 主要な不確実性推定手法（ベイズNN、アンサンブル、テスト時拡張、決定論的モデル）を調査・比較する。
• 不確実性推定の較正と実世界の応用における実用的ベンチマークについて議論する。
• DNNsの不確実性定量化における限界・課題・将来の研究機会を強調する。

提案手法

• データ取得、ネットワーク設計/訓練、推論、予測不確実性のモデリングというデータから不確実性定量化への四つのステップを記述する。
• 不確実性を引き起こす要因（I: 実世界のばらつき; II: 測定ノイズ; III: モデル構造の誤差; IV: 学習手順の誤差; V: 未知データ）とそれらの伝播を区別する。
• 予測不確実性をデータ（アレータリック）とモデル（エピステミック）不確実性に分類し、ベイズ的および分布的定式化を議論する。
• 4つの不確実性推定パラダイムを提示: 単一の決定論的ネットワーク、ベイズ法、アンサンブル、テスト時拡張で、それぞれのトレードオフを詳述する。
• 評価指標、較正技術、利用可能な実装とベンチマークの概要を提供する。

実験結果

リサーチクエスチョン

• RQ1 DNN予測における主要な不確実性の源とタイプは何か？
• RQ2 DNNの予測不確実性をモデリング・定量化する主なアプローチは何か、どのように比較されるか？
• RQ3 実務で信頼性を高めるためにDNNの不確実性推定をどのように較正・評価できるか？
• RQ4 実世界アプリケーションにおける現行の不確実性定量化手法の実務的課題と限界は何か？

主な発見

• DNN予測の不確実性はデータ不確実性（アレータリック）とモデル不確実性（エピステミック）から生じ、原因と還元性が異なる。
• ベイズ推定、アンサンブル、テスト時データ拡張、明示的な不確実性成分を持つ決定論的モデルが主要な推定パラダイム。
• 不確実性推定の較正は信頼性に不可欠で、共通の評価データセットとベンチマークとともにいくつかの較正技術が存在する。
• 医用画像、ロボティクス、地球観測などの現場応用は、ドメインシフト、アウト・オブ・ドメイン入力、セーフティクリティカルな意思決定要件などの実務的課題を示す。
• 本論文は不確実性源を実用的な推定手法へマッピングする枠組みを提供し、リソース制約下でどのアプローチが望ましいかを強調する。