[論文レビュー] Sources of Uncertainty in Supervised Machine Learning -- A Statisticians' View

Cornelia Gruber, Patrick Oliver Schenk+3 more|arXiv (Cornell University)|May 26, 2023

Explainable Artificial Intelligence (XAI)被引用数 17

ひとこと要約

本論文は、監視付き機械学習における不確実性を統計的視点から再定義し、アレータティック不確実性とエピステミック不確実性を区別するとともに、単純な二項分解を超える多数のデータ・モデル関連の要因（過parameterization やデータ品質を含む）を強調する。

ABSTRACT

Supervised machine learning and predictive models have achieved an impressive standard today, enabling us to answer questions that were inconceivable a few years ago. Besides these successes, it becomes clear, that beyond pure prediction, which is the primary strength of most supervised machine learning algorithms, the quantification of uncertainty is relevant and necessary as well. However, before quantification is possible, types and sources of uncertainty need to be defined precisely. While first concepts and ideas in this direction have emerged in recent years, this paper adopts a conceptual, basic science perspective and examines possible sources of uncertainty. By adopting the viewpoint of a statistician, we discuss the concepts of aleatoric and epistemic uncertainty, which are more commonly associated with machine learning. The paper aims to formalize the two types of uncertainty and demonstrates that sources of uncertainty are miscellaneous and can not always be decomposed into aleatoric and epistemic. Drawing parallels between statistical concepts and uncertainty in machine learning, we emphasise the role of data and their influence on uncertainty.

研究の動機と目的

• 統計的観点から、監視付き機械学習におけるアレータティック不確実性とエピステミック不確実性を明確化・形式化する。
• 単純な二項分解の限界を説明し、不確実性のデータ関連要因を強調する。
• ML の不確実性概念をバイアス-分散と総合調査誤差などの古典統計学と結びつける。
• データ品質、欠落/測定誤差、およびデプロイメントの変化が不確実性に与える影響を強調する。

提案手法

• アレータティック不確実性を Var(Y|X=x) と定義し、残りの不確実性をエピステミックとして分類する。
• バイアス-分散の枠組みの中で推定不確実性とモデル不確実性を議論する。
• 線形回帰を例示として用い、予測区間がアレータティック不確実性と推定不確実性を混ぜることを示す。
• 過parameter化モデルへ拡張し、f(y|x) と p(y|x;θ) を比較するためにKL発散を用いる。
• p>n の場合の正則化を事前情報として説明し、AIC様の KL の考慮と関連づける。
• モデル次元を増加させたときの KL 発散成分を示すシミュレーション研究を提供する。

実験結果

リサーチクエスチョン

• RQ1 ML 文脈におけるアレータティック不確実性とエピステミック不確実性の正式な統計定義は何か。
• RQ2 データ生成過程、モデルクラス、訓練データは不確実性の分解と推定にどのように影響するか。
• RQ3 過parameter化または高次元設定（p>n）において不確実性の源はどうなるか。
• RQ4 正則化/事前選択は ML における真のモデルと適合モデルとの距離（KL発散）にどのように影響するか。
• RQ5 欠落変数や測定誤差などデータ関連の問題はモデル不確実性にどう寄与するか。

主な発見

• アレータティック不確実性は Var(Y|x) と定義され、残りの不確実性はすべてエピステミックである。
• 単純な線形モデルでは、総予測不確実性をアレータティック不確実性と推定不確実性に素直に分解することはできない。
• バイアス-分散分解はアレータティック不確実性を不可避の誤差に結びつけ、推定分散とモデルバイアスをエピステミック不確実性と結びつける。
• 過parameter化は第二の KL 発散の最小値を許容し、正則化を必要とし、モデルのミス指定と推定誤差の間のトレードオフを生み出す。
• 正則化（事前情報）はペナルティ付き尤度が全階数のヘッセ行列を負定値に保ち、p>n の場合でも一意な最大点を可能にする。
• KL 発散は高次元設定（p>n）で従来の AIC を超えて真のモデルと適合モデルを比較する枠組みを提供する。
• データ品質と観測されない変数はモデル不確実性を生み出す可能性があり、単純なアレータティック/エピステミック分割だけでは実務上十分でないことを示す。