[論文レビュー] When Does Uncertainty Matter?: Understanding the Impact of Predictive Uncertainty in ML Assisted Decision Making

Sean McGrath, Parth S. Mehta+3 more|arXiv (Cornell University)|Nov 11, 2020

Decision-Making and Behavioral Economics被引用数 8

ひとこと要約

本研究では、形状や分散が異なる予測不確実性（特に事後予測分布）が、機械学習支援タスクにおける人間の意思決定に与える影響を調査している。Prolificおよび大学の研究グループを通じて参加者を抽出した1,330件の回答を含むユーザー研究により、不確実性を提示することで、あらゆる専門知識水準において、モデル予測との食い違いが減少することが判明した。ただし、その効果は分布の種類やユーザーの専門知識によって異なるため、ユーザーの文脈に合わせて調整された不確実性の提示が、意思決定支援として価値を持つ可能性がある。

ABSTRACT

As machine learning (ML) models are increasingly being employed to assist human decision makers, it becomes critical to provide these decision makers with relevant inputs which can help them decide if and how to incorporate model predictions into their decision making. For instance, communicating the uncertainty associated with model predictions could potentially be helpful in this regard. In this work, we carry out user studies (1,330 responses from 190 participants) to systematically assess how people with differing levels of expertise respond to different types of predictive uncertainty (i.e., posterior predictive distributions with different shapes and variances) in the context of ML assisted decision making for predicting apartment rental prices. We found that showing posterior predictive distributions led to smaller disagreements with the ML model's predictions, regardless of the shapes and variances of the posterior predictive distributions we considered, and that these effects may be sensitive to expertise in both ML and the domain. This suggests that posterior predictive distributions can potentially serve as useful decision aids which should be used with caution and take into account the type of distribution and the expertise of the human.

研究の動機と目的

• 異なる種類の予測不確実性が、機械学習支援環境における人間の意思決定にどのように影響するかを理解すること。
• ドメイン専門性と機械学習リテラシーが、不確実性の解釈と反応に果たす役割を検討すること。
• 事後予測分布の提示が、人間の予測とモデル出力との食い違いを減少させるかどうかを評価すること。
• 不確実性分布の形状と分散が、人間の信頼性と意思決定の整合性に与える影響を評価すること。
• 実世界の予測タスクにおける不確実性コミュニケーションの有用性を、実証的証拠で提示すること。

提案手法

• マサチューセッツ州ケンブリッジのアパート賃貸価格を予測するタスクにおいて、Prolificおよび大学の研究グループを通じて190名の参加者を抽出したユーザー研究を実施した。
• 参加者はまず、モデル情報なしで価格予測を提示した後、形状や分散が異なるさまざまな事後予測分布を伴うモデル予測を提示された。
• モデル出力と不確実性表現への暴露の前後における人間の予測の変化を測定するために、二段階の設計を採用した。
• 異なる不確実性タイプにおける人間とモデルの予測の食い違いを評価するために、合計1,330件の回答を収集した。
• ドメイン専門性およびMLリテラシーの水準を制御しながら、不確実性提示の意思決定整合性への影響を分析した。
• 統計モデリングを用いて、異なる事後予測分布タイプおよび専門知識グループ間での食い違いレベルを比較した。

実験結果

リサーチクエスチョン

• RQ1 形状や分散が異なる事後予測分布を提示することで、人間の機械学習モデル予測との合意度にどのような影響を与えるか？
• RQ2 ドメイン専門性は、機械学習支援意思決定における予測不確実性の解釈と反応にどのように影響するか？
• RQ3 機械学習へのなじみが、不確実性コミュニケーションの意思決定結果への影響に与える影響は何か？
• RQ4 さまざまな専門知識水準において、不確実性コミュニケーションが人間とモデルの予測の食い違いを減少させるか？
• RQ5 異なる形態の不確実性（例：二峰性 vs. 高分散正規分布）は、人間の意思決定行動にどのように影響するか？

主な発見

• 事後予測分布の提示は、分布の形状や分散に関わらず、人間のモデル予測との食い違いを顕著に減少させた。
• ドメイン専門性の高い参加者は初期段階でモデル予測との食い違いが小さかったが、不確実性の提示により、あらゆる専門知識水準で食い違いが減少した。
• 不確実性提示の効果は、ドメイン専門性およびMLリテラシーの両方に感受性を示しており、専門家は非専門家と異なった方法で不確実性を解釈している可能性がある。
• 高分散または二峰性の事後予測分布ですら、食い違いの減少に寄与したため、不確実性のコミュニケーションがモデル出力との整合性を高めることを示唆している。
• 複雑な不確実性分布（例：二峰性）が、単純な分布よりも混乱や整合性の欠如を引き起こす証拠は得られなかった。
• 結果から、不確実性コミュニケーションは有用な意思決定支援手段となり得るが、その有効性はユーザーの専門知識および提示される不確実性の形式に依存する可能性がある。