[論文レビュー] A Survey on Uncertainty Quantification Methods for Deep Learning

Wenchong He, Zhe Jiang+3 more|arXiv (Cornell University)|Feb 26, 2023

Adversarial Robustness in Machine Learning被引用数 26

ひとこと要約

このサーベイはDNNの不確実性定量化手法を不確実性源（データ対モデル）で分類し、それらの利点・欠点と適用について論じる。

ABSTRACT

Deep neural networks (DNNs) have achieved tremendous success in computer vision, natural language processing, and scientific and engineering domains. However, DNNs can make unexpected, incorrect, yet overconfident predictions, leading to serious consequences in high-stakes applications such as autonomous driving, medical diagnosis, and disaster response. Uncertainty quantification (UQ) estimates the confidence of DNN predictions in addition to their accuracy. In recent years, many UQ methods have been developed for DNNs. It is valuable to systematically categorize these methods and compare their strengths and limitations. Existing surveys mostly categorize UQ methodologies by neural network architecture or Bayesian formulation, while overlooking the uncertainty sources each method addresses, making it difficult to select an appropriate approach in practice. To fill this gap, this paper presents a taxonomy of UQ methods for DNNs based on uncertainty sources (e.g., data versus model uncertainty). We summarize the advantages and disadvantages of each category, and illustrate how UQ can be applied to machine learning problems (e.g., active learning, out-of-distribution robustness, and deep reinforcement learning). We also identify future research directions, including UQ for large language models (LLMs), AI-driven scientific simulations, and deep neural networks with structured outputs.

研究の動機と目的

• 高リスク領域における過度に自信過剰なDNN予測に対処することで、信頼できるAIを促進する。
• アーキテクチャやベイズ的観点だけでなく、不確実性源（データ vs. モデル）に基づくUQ手法の分類法を提案する。
• 各不確実性源カテゴリ内のUQ手法の利点と欠点を要約する。
• 活性学習、頑健性、強化学習などの応用とUQ分類法を結びつける。
• DNNにおけるUQの研究ギャップを特定し、今後の方向性を概説する。

提案手法

• データ不確実性、モデル不確実性、およびそれらの組み合わせという不確実性源で分類されたUQ手法の体系的分類を提示する。
• データ不確実性をアレーティック、モデル不確実性をエピステミックとして説明し、それぞれの表現を示す（データについては識別的 vs 生成的、データに対してはベイズニューラルネットワーク、アンサンブル、およびサンプル密度モデル）。
• 事後近似技法（変分推論、ラプラス近似、MCMC）を用いたベイズニューラルネットワークとそれらのトレードオフを論じる。
• 不確実性を捉えるための完全ベイズ治療の代替として、アンサンブルとエビデンシャル学習アプローチを説明する。
• 予測不確実性のキャリブレーションと現代のDNNへ後方分布近似を拡張する際の課題を強調する。

実験結果

リサーチクエスチョン

• RQ1 DNN予測の不確実性を、アーキテクチャやベイズ的視点ではなく、データ vs. モデルといった不確実性源で系統的に分類するにはどうすればよいか。
• RQ2 データ不確実性、モデル不確実性、またはそれらの組み合わせに対処する手法の、異なる適用領域における相対的な利点と制約は何か。
• RQ3 提案された不確実性源分類が、活性学習、頑健性、強化学習などのタスクにおける手法選択をどう導くか。
• RQ4 深層学習における不確実性定量化の現在のギャップと有望な方向性は何か。
• RQ5 医薬、地球科学、輸送などの高リスク領域において、データ不確実性とモデル不確実性はどのように相互作用するか。

主な発見

• 新しい分類法は、UQ手法をモデルアーキテクチャやベイズ的枠組みにのみならず、不確実性源で分類する。
• データ不確実性は、出力分布をモデル化してデータ固有のノイズを反映する識別的および生成的アプローチを通じて扱われる。
• パラメータ、アーキテクチャ、分布シフトなどの不確実性を捉えるため、ベイズニューラルネットワーク、アンサンブル、サンプル密度認識モデルを通じてモデル不確実性に対処する。
• データ不確実性とモデル不確実性を組み合わせると包括的な見方が得られる一方で計算・ストレージ要求が増大する。エビデンシャル深層学習はより効率的な代替手法を提供する。
• 本調査はUQ分類を実世界の領域（医療、地球科学、輸送、生化学）に結びつけ、適用特有の課題と今後の方向性を論じる。