[論文レビュー] Uncertainty as a Form of Transparency: Measuring, Communicating, and Using Uncertainty

Umang Bhatt, Javier Antorán+13 more|arXiv (Cornell University)|Nov 15, 2020

Explainable Artificial Intelligence (XAI)参考文献 196被引用数 26

ひとこと要約

本論文は、機械学習におけるアルゴリズム的透明性の重要な補完的形態として不確実性推定を提唱し、不確実性の測定、伝達、活用が公平性、意思決定、信頼性の向上に寄与すると主張している。本稿では、アンサンブル的不確実性とエピステーム的不確実性の定量的評価手法を提示し、MLパイプラインへの可視化と統合を提唱し、医療やパンデミック予測といった実世界の応用分野におけるその価値を示している。

ABSTRACT

Algorithmic transparency entails exposing system properties to various stakeholders for purposes that include understanding, improving, and contesting predictions. Until now, most research into algorithmic transparency has predominantly focused on explainability. Explainability attempts to provide reasons for a machine learning model's behavior to stakeholders. However, understanding a model's specific behavior alone might not be enough for stakeholders to gauge whether the model is wrong or lacks sufficient knowledge to solve the task at hand. In this paper, we argue for considering a complementary form of transparency by estimating and communicating the uncertainty associated with model predictions. First, we discuss methods for assessing uncertainty. Then, we characterize how uncertainty can be used to mitigate model unfairness, augment decision-making, and build trustworthy systems. Finally, we outline methods for displaying uncertainty to stakeholders and recommend how to collect information required for incorporating uncertainty into existing ML pipelines. This work constitutes an interdisciplinary review drawn from literature spanning machine learning, visualization/HCI, design, decision-making, and fairness. We aim to encourage researchers and practitioners to measure, communicate, and use uncertainty as a form of transparency.

研究の動機と目的

• 信頼性のあるAIを確保するための説明可能性のみでは不十分であるという限界を是正するため、不確実性推定を補完的透明性メカニズムとして導入すること。
• 不確実性が、訓練データに不足しがちな感受性の高いグループにおいて、公平性の緩和にどのように寄与できるかを特定すること。
• 医師、患者、政策立案者を含む多様なステークホルダーに対して、不確実性を効果的に可視化・伝達するための実用的手法を開発すること。
• 異なる分野における既存の機械学習パイプラインに不確実性評価を統合するためのフレームワークを提供すること。
• 医療やパンデミック予測といったハイリスク分野において、不確実性の伝達がもたらす実世界への影響を実証すること。

提案手法

• モデル設計と解釈を支援するため、データの固有のノイズ（アレアトリック不確実性）と訓練データ不足に起因する不確実性（エピステーム的不確実性）に分類する。
• 回帰では信頼区間（例：95％信頼区間）、分類では予測確率を用いて不確実性を定量的に表現する。
• 分布ロバスト最適化とアクティブラーニングを適用し、特にデータが乏しい感受性の高いグループにおいても公平性を向上させる。
• 高不確実性の予測を人間の専門家に移管する、または不確実性に基づいて重みを再調整する後処理手法を実装し、バイアスを低減する。
• CDCのCOVID-19予測で実証されたように、予測帯（例：95％信頼区間）と平均推定値を組み合わせた予測可視化を、一般および臨床用途に向け設計する。
• 特徴量の分布を比較し、キャリブレーション指標を用いて信頼性を確保することで、不確実性推定をモデル評価に統合する。

実験結果

リサーチクエスチョン

• RQ1 不確実性推定は、機械学習におけるモデルの説明可能性とはどのように異なり、透明性の別形態として機能するのか？
• RQ2 不確実性は、訓練データに感受性の高いグループが不足している場合に、どのように機械学習モデルの公平性を向上させ得るか？
• RQ3 医師、患者、公衆衛生担当者を含む多様なステークホルダーに対して、不確実性を効果的に可視化・伝達する方法は何か？
• RQ4 既存の機械学習パイプラインに不確実性評価を統合するにあたり、実用的な課題とその解決策は何か？
• RQ5 ハイリスク分野、特に医療やパンデミック対応において、不確实在太報が意思決定と信頼性にどのように影響を与えるか？

主な発見

• キャリブレーションが適切な不確実性推定は、モデルが十分な知識を持たない状況を特定し、とくに感受性の高いグループにおいて信頼性と意思決定の質を向上させることができる。
• 不確実性に基づく人間専門家への予測移管は、キャリブレーションと等しいオッズという、もともと両立不可能とされる公平性指標のトレードオフを解消する。
• CDCのCOVID-19予測の文脈では、予測帯（例：95％信頼区間）を用いた不確実性可視化が、一般および政策意思決定を支援するために不可欠であった。
• 不確実性に基づいて予測を再調整する後処理手法は、感受性属性が欠落している、または不十分に表現されている場合に、モデル出力をバイアスから解放する。
• 不確実性の伝達は、行動変容やリソース配分に直接影響を与える公衆衛生分野で、透明性と信頼性を顕著に向上させる。
• 特に公平性緩和に用いられる場合に、不確実性推定が意味的かつ偏りのないものであることを保証するため、分布分析とモデルキャリブレーションが不可欠である。