[論文レビュー] Measuring Orthogonality as the Blind-Spot of Uncertainty Disentanglement

Ivo Pascal de Jong, Andreea Ioana Sburlea+2 more|ArXiv.org|Aug 22, 2024

Clinical Laboratory Practices and Quality ControlMedicine被引用数 3

ひとこと要約

本論文は、不確実性評価（UQ）手法における確率的不確実性と知識的不確実性の分離度を評価する包括的な実験フレームワークを提案する。データセットサイズ、OoDサンプル、ラベルノイズといった制御されたデータ操作を用いて、情報理論的およびガウスログティックス手法の両方が、完全に二つの不確実性タイプを分離できていないことを示している。情報理論的手法はより良好な分離度を示すが、依然として不完全である。

ABSTRACT

Aleatoric (data) and epistemic (knowledge) uncertainty are textbook components of Uncertainty Quantification. Jointly estimating these components has been shown to be problematic and non-trivial. As a result, there are multiple ways to disentangle these uncertainties, but current methods to evaluate them are insufficient. We propose that aleatoric and epistemic uncertainty estimates should be orthogonally disentangled - meaning that each uncertainty is not affected by the other - a necessary condition that is often not met. We prove that orthogonality and consistency and necessary and sufficient criteria for disentanglement, and construct Uncertainty Disentanglement Error as a metric to measure these criteria, with further empirical evaluation showing that finetuned models give different orthogonality results than models trained from scratch and that UDE can be optimized for through dropout rate. We demonstrate a Deep Ensemble trained from scratch on ImageNet-1k with Information Theoretic disentangling achieves consistent and orthogonal estimates of epistemic uncertainty, but estimates of aleatoric uncertainty still fail on orthogonality.

研究の動機と目的

• 現在のUQ手法において、確率的不確実性と知識的不確実性が本当に分離されているかどうかを実証的に検証するための不足している点を補う。
• 既存の不確実性評価アプローチが、将来の意思決定に必要なように、不確実性の原因を信頼性高く分離できているかどうかを特定する。
• 将来のUQ手法における分離度の質を評価するための標準的で理論的根拠を持つ実験ベンチマークを確立する。
• 不確実性分離における理論的限界が、実際のデータ（実世界および合成データ）におけるモデルの行動に現れるかどうかを調査する。

提案手法

• データセットサイズ、分布外（OoD）入力、ラベルノイズを操作する制御された実験を設計し、確率的または知識的不確実性の変化を分離する。
• ベイジアンニューラルネットワークに、情報理論的およびガウスログティックスの2つの代表的UQアプローチを適用し、予測された不確実性反応を測定する。
• MC-Dropout、MC-DropConnect、およびディープアンサンブルを推論手法として用い、異なるモデルバリアントにおける不確実性推定を評価する。
• 真の不確実性が相関のない条件下で、予測された確率的不確実性が知識的不確実性の操作に反応するか（逆も同様）を測定することで、分離度を評価する。
• 真の不確実性が相関のない状況において、予測された不確実性同士に相関がないこと（＝分離）を分離度として定義する。
• フレームワークを合成データおよび実世界データの両方に対して適用し、評価プロトコルの一般化可能性と頑健性をテストする。

(a) Aleatoric

実験結果

リサーチクエスチョン

• RQ1 現在のUQ手法は、実際の応用において、確率的不確実性と知識的不確実性をどの程度分離できているか？
• RQ2 情報理論的およびガウスログティックス手法は、データセットサイズおよびラベルノイズの制御された操作下で、どのように性能を示すか？
• RQ3 OoDサンプルでは、理論的期待とは反対に、予測された確率的不確実性が増加するか？
• RQ4 真の知識的不確実性が変化しない状況で、予測された知識的不確実性が、確率的不確実性の変化に影響を受けるか？
• RQ5 提案された実験フレームワークは、将来の分離可能な不確実性手法の信頼性のあるベンチマークとして機能できるか？

主な発見

• 情報理論的手法はガウスログティックス手法よりも優れた分離度を達成しているが、両手法とも完全に確率的不確実性と知識的不確実性を分離できていない。
• 両手法とも顕著な相互汚染を示している：真に確率的不確実性のみを操作しても予測された知識的不確実性が増加し、逆も同様の傾向を示している。
• ガウスログティックス手法はMC-DropoutおよびMC-DropConnectでは知識的不確実性の変化を適切に反映できていないが、ディープアンサンブルではより良好な性能を示している。
• 両手法ともOoDサンプルでは確率的不確実性が増加しており、理論的期待とは反対の結果となっている（理論的には安定でなければならない）。
• Wimmerら（2023）が指摘した理論的限界が実際のモデル行動に現れている：最大の確率的不確実性下では、知識的不確実性の予測が崩壊する。
• 提案された実験フレームワークは、不確実性源を分離することを目的としたあらゆるUQ手法における分離度の質を評価するための頑健で標準化されたベンチマークを提供する。

(b) Epistemic