[論文レビュー] To Trust or Not to Trust a Regressor: Estimating and Explaining Trustworthiness of Regression Predictions

Kim de Bie, Ana Lučić+1 more|arXiv (Cornell University)|Apr 14, 2021

Explainable Artificial Intelligence (XAI)被引用数 9

ひとこと要約

この論文では、正解ラベルが存在しない状況下で回帰予測の信頼性を推定・説明する手法であるRETRO-VIZを紹介する。RETROは予測誤差と相関する定量的信頼スコアを提供するが、VIZは予測とその最近傍の近傍点との乖離を強調することで視覚的説明を提供し、予測がなぜ信頼できないかを特定するのをユーザーに支援する。ユーザー研究の結果、RETROスコアとVIZプロットの両方が、信頼できる予測と信頼できない予測を識別する能力を顕著に向上させたことが示された。

ABSTRACT

In hybrid human-AI systems, users need to decide whether or not to trust an algorithmic prediction while the true error in the prediction is unknown. To accommodate such settings, we introduce RETRO-VIZ, a method for (i) estimating and (ii) explaining trustworthiness of regression predictions. It consists of RETRO, a quantitative estimate of the trustworthiness of a prediction, and VIZ, a visual explanation that helps users identify the reasons for the (lack of) trustworthiness of a prediction. We find that RETRO-scores negatively correlate with prediction error across 117 experimental settings, indicating that RETRO provides a useful measure to distinguish trustworthy predictions from untrustworthy ones. In a user study with 41 participants, we find that VIZ-explanations help users identify whether a prediction is trustworthy or not: on average, 95.1% of participants correctly select the more trustworthy prediction, given a pair of predictions. In addition, an average of 75.6% of participants can accurately describe why a prediction seems to be (not) trustworthy. Finally, we find that the vast majority of users subjectively experience RETRO-VIZ as a useful tool to assess the trustworthiness of algorithmic predictions.

研究の動機と目的

• 正解誤差が不明な状況下で、回帰モデルの個々の予測の信頼性推定が不足している問題に対処すること。
• 信頼性を定量的に推定し、予測がなぜ信頼できないかを行動可能な説明を提供する手法を開発すること。
• 本手法を用いて、実世界のハイブリッド人間-AI意思決定文脈において、ユーザーが信頼できる予測とその理由を効果的に特定できるかどうかを評価すること。
• とくに生産環境で使用される複雑なモデルを対象として、不確実性推定と説明可能性のギャップを埋めること。

提案手法

• RETROは、モデルの予測と参照データセットからの最近傍の予測との一貫性を測定することで、信頼性スコアを計算する。
• この手法は、類似する入力は類似する出力を示すべきというケースベース推論の原則に従い、予測の乖離を信頼性の欠如の指標として定量化する。
• VIZは、テストインスタンスとその最近傍をプロットすることで視覚的説明を生成し、特徴の類似性と予測の乖離を強調する。
• RETROスコアは0（信頼できない）から1（信頼できる）の範囲をとり、低いスコアは高い予測誤差を示す。
• このアプローチはモデルに依存せず、特徴空間と予測出力を唯一の依存要素として、あらゆる回帰モデルに適用可能である。
• 本手法は、モデルアーキテクチャ、データ次元、誤差タイプの多様な条件下でのアブレーションスタディと、41名の参加者を対象としたユーザー研究を通じて評価された。

実験結果

リサーチクエスチョン

• RQ1 RQ1: RETROスコアは予測誤差と相関しているか？ もしそうなら、相関の強さはどの程度か？
• RQ2 RQ2: 異なるモデルアーキテクチャ、データ次元、誤差要因の下で、RETROはどのような条件下で最も良好に機能するか？
• RQ3 RQ3: VIZ説明は、ユーザーが予測の信頼性の有無とその理由を客観的に特定するのを支援するか？
• RQ4 RQ4: ユーザーは実際の現場でVIZ説明を価値のあるものとして主観的に評価するか？

主な発見

• RETROスコアは、117の全実験設定において予測誤差と有意な負の相関を示した。これは、低いスコアが高い誤差を示すことを確認した。
• 41名の参加者を対象としたユーザー研究において、VIZプロットは、RETROスコアにアクセスできない状況下でも、信頼できる予測とその根拠を識別する能力を顕著に向上させた。
• 大多数のユーザー（p ≤ 0.05）が、VIZプロットが理解しやすく、信頼性の検出に役立ち、実務的意思決定において価値があると評価した。
• ユーザーはVIZプロットのみを用いて、信頼できる予測と信頼できない予測を区別できた。これは、視覚的説明が単独で信頼性指標として機能しうることを示唆している。
• 主観的評価では、VIZプロットが予測信頼性の理解に強く満足感をもたらしたが、追加ツールの必要性について有意な差は認められなかった。
• 結果として、RETRO-VIZは定量的信頼性推定と解釈可能な視覚フィードバックを組み合わせることで、人的・AI連携を効果的に支援することを示した。