[論文レビュー] In AI We Trust? Factors That Influence Trustworthiness of AI-infused Decision-Making Processes

Maryam Ashoori, Justin D. Weisz|arXiv (Cornell University)|Dec 5, 2019

Explainable Artificial Intelligence (XAI)参考文献 32被引用数 52

ひとこと要約

この研究は、7つの要因（stakes, decider, trainer, interpretability, train/test description, social transparency, and model confidence）がAIを組み込んだ意思決定に対する信頼にどのように影響するかを評価し、解釈可能なモデルと透明な訓練データが信頼を高めるという結論を得ている。

ABSTRACT

Many decision-making processes have begun to incorporate an AI element, including prison sentence recommendations, college admissions, hiring, and mortgage approval. In all of these cases, AI models are being trained to help human decision makers reach accurate and fair judgments, but little is known about what factors influence the extent to which people consider an AI-infused decision-making process to be trustworthy. We aim to understand how different factors about a decision-making process, and an AI model that supports that process, influences peoples' perceptions of the trustworthiness of that process. We report on our evaluation of how seven different factors -- decision stakes, decision authority, model trainer, model interpretability, social transparency, and model confidence -- influence ratings of trust in a scenario-based study.

研究の動機と目的

• AIを組み込んだ意思決定プロセスに関して、信頼性があると perceived される要因を特定する。
• 複数の信頼の側面（信頼性、信頼性、技術的能力、理解可能性、個人的結びつき）に対する各要因の影響を定量化する。
• 要因間の相互作用（例：decider、trainer、confidence）とそれが信頼に与える影響を検討する。
• クラウドソーシング参加者間での信頼認識の個人差を評価する。
• エンドユーザーの情報ニーズを強調することで、信頼されるAIシステムの設計に関する指針を提供する。

提案手法

• 2x2x2x2x2x2x2 の7つのシナリオ要因レベルの組み合わせを用いた Szenarioベースの評価。
• Mechanical Turkを用いたクラウドソース評価研究、N=320人の参加者（各参加者は2つのシナリオ、低リスクと高リスク）。
• 信頼性、信頼性、技術的能力、個人的結びつきの各側面を測定するために適応された4段階リッカート尺度を用いた多面的な信頼測定。
• 主効果と相互作用を評価するために参加者をランダム効果として扱うANOVAを実施し、効果量として部分η二乗を報告。
• 信頼判断の理由を理解するために、開放回答を定性的に分析。

実験結果

リサーチクエスチョン

• RQ1 7つのシナリオ要因は、AIを組み込んだ意思決定における信頼の異なる側面にどのような影響を与えるか？
• RQ2 要因間の相互作用（特にdecider、trainer、model confidence）は信頼を修正するか？
• RQ3 ステークホルダーの認識と個人差は信頼判断にどう影響するか？
• RQ4 訓練データの解釈性と透明性は、高リスク・低リスクの意思決定の両方で信頼を高めるか？

主な発見

• 解釈可能なモデルは、ブラックボックスモデルよりも一貫して信頼性、信頼性、技術的能力の評価を高める。
• モデルがどのように訓練・テストされたかの情報を提供すると、信頼関連の評価が大幅に高まる。
• 社会的透明性（他者に影響を与える意思決定に関する情報）は、信頼の側面に対して小さくとも正の効果を持つ。
• 低リスクのシナリオは、高リスクのシナリオよりも、AIを組み込んだプロセスへの信頼を高める。
• AIがdeciderの場合、人間のデータサイエンティストによる訓練（自動AIではない）方が、信頼関連の判断を高める；deciderが人間の場合、trainerの効果は小さい。
• モデルの自信度の可視化は信頼を高めるが、特にdeciderがAIの場合に顕著；自信情報が欠如すると信頼が低下する。