[論文レビュー] The Value of Measuring Trust in AI - A Socio-Technical System Perspective

Michaela Benk, Suzanne Tolmeijer+2 more|arXiv (Cornell University)|Apr 28, 2022

Ethics and Social Impacts of AI被引用数 8

ひとこと要約

本論文は、AIにおける信頼の測定における限界を克服するため、社会技術的システムの視点を提案し、2つのアプローチを導入する：(1) 全てのシステム相互作用における信頼の集約、(2) 評価・交渉・チーム認知といった実用的構造への焦点のシフト。主な貢献は、抽象的な数値的信頼スコアではなく、現実のダイナミクスに基づいた、より信頼性が高く文脈に適応した人間-AI相互作用を設計するためのフレームワークである。

ABSTRACT

Building trust in AI-based systems is deemed critical for their adoption and appropriate use. Recent research has thus attempted to evaluate how various attributes of these systems affect user trust. However, limitations regarding the definition and measurement of trust in AI have hampered progress in the field, leading to results that are inconsistent or difficult to compare. In this work, we provide an overview of the main limitations in defining and measuring trust in AI. We focus on the attempt of giving trust in AI a numerical value and its utility in informing the design of real-world human-AI interactions. Taking a socio-technical system perspective on AI, we explore two distinct approaches to tackle these challenges. We provide actionable recommendations on how these approaches can be implemented in practice and inform the design of human-AI interactions. We thereby aim to provide a starting point for researchers and designers to re-evaluate the current focus on trust in AI, improving the alignment between what empirical research paradigms may offer and the expectations of real-world human-AI interactions.

研究の動機と目的

• 曖昧な定義と限局的な実験的設定によるAIにおける信頼測定の不整合を是正すること。
• 信頼に関する実証的研究と現実世界の人間-AI相互作用の期待値のギャップを埋めること。
• 実際のAI導入における複雑で動的な相互作用をよりよく反映する社会技術的システムのレンズを提示すること。
• 単一の「信頼スコア」を数値化することから、評価・チーム認知といった支援的構造への焦点のシフト。
• 実際の相互作用ダイナミクスと整合する、設計に根ざした信頼測定の実行可能な方法を提供すること。

提案手法

• AIを人間と技術的要素が相互に接続された構造に埋め込む社会技術的システムの視点を採用する。
• 構築主義的アプローチを提示：信頼を、システム内におけるすべての相互作用における信頼水準の集約として測定する。
• パラダイム転換的アプローチを導入：抽象的な信頼測定を、評価・交渉・チーム認知といった測定可能な構造に置き換える。
• 現実世界のシナリオ（例：臨床医-AI-患者の二重関係）を用いて、正当化、フィードバックループ、自信の変化といった構造を操作可能にする。
• 合意に至るまでの時間、相互作用の回数、ユーザーの自信の変化といった指標を通じて、相互作用の質を測定する。
• 共通の理解やチーム認知といった構造を統合し、人間-AIチームにおける共有理解と共同パフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 現在のアプローチが一貫性のない定義や単一の数値スコアに依存している場合、AIにおける信頼はどのように意味的に測定可能になるか？
• RQ2 AIを社会技術的システムとしてフレームするとは、実証的研究と現実世界の導入状況との整合性をどのように向上させるか？
• RQ3 抽象的な信頼指標に代わる、測定可能で相互作用に基づく構造は何か？
• RQ4 評価・交渉・チーム認知といった構造は、人間-AI協働の信頼性をどのように向上させるか？
• RQ5 人間の仲介（例：臨床医）は、人間-AIの二重関係における信頼と理解の形成にどのような役割を果たすか？

主な発見

• AIにおける既存の信頼測定は、一貫性のない用語、単純化されたラボ環境、行動的結果と一致しない自己報告式アンケートに起因して制限を受ける。
• AIにおける信頼に単一の数値を割り当てる試みは、現実世界の相互作用の複雑さを捉えられておらず、設計への適用可能性を制限する。
• 患者がAIの予測に対してフィードバックを提供するような評価の測定は、解決までの時間や自信の変化を含め、信頼の実現に向けた明確で測定可能な代理指標を提供する。
• 交渉、共通の理解、チーム認知といった構造は、人間-AIチームにおける抽象的な信頼スコアに代わる、より実行可能で文脈に適応した代替手段を提供する。
• 臨床医が臨床医-AI-患者の相互作用において仲介的役割を果たすことは、信頼の補正と結果の受容に顕著な影響を及ぼし、このような役割を設計に組み込む必要性を浮き彫りにする。
• 一貫した測定方法が採用されれば、定義された論理に従って相互作用全体の信頼を集約することで、システムレベルの信頼測定に実行可能な道筋が得られる。