[論文レビュー] Formalizing Trust in Artificial Intelligence: Prerequisites, Causes and Goals of Human Trust in AI

Alon Jacovi, Ana Marasović+2 more|arXiv (Cornell University)|Oct 15, 2020

Explainable Artificial Intelligence (XAI)参考文献 71被引用数 66

ひとこと要約

本論文は人間‐AIの信頼を対人信頼に触発して形式化し、契約的信頼と信頼性を導入し、正当な信頼と不当な信頼を区別し、信頼をXAIと評価に結びつける。

ABSTRACT

Trust is a central component of the interaction between people and AI, in that 'incorrect' levels of trust may cause misuse, abuse or disuse of the technology. But what, precisely, is the nature of trust in AI? What are the prerequisites and goals of the cognitive mechanism of trust, and how can we promote them, or assess whether they are being satisfied in a given interaction? This work aims to answer these questions. We discuss a model of trust inspired by, but not identical to, sociology's interpersonal trust (i.e., trust between people). This model rests on two key properties of the vulnerability of the user and the ability to anticipate the impact of the AI model's decisions. We incorporate a formalization of 'contractual trust', such that trust between a user and an AI is trust that some implicit or explicit contract will hold, and a formalization of 'trustworthiness' (which detaches from the notion of trustworthiness in sociology), and with it concepts of 'warranted' and 'unwarranted' trust. We then present the possible causes of warranted trust as intrinsic reasoning and extrinsic behavior, and discuss how to design trustworthy AI, how to evaluate whether trust has manifested, and whether it is warranted. Finally, we elucidate the connection between trust and XAI using our formalization.

研究の動機と目的

• 社会学的対人信頼に触発された、人間とAIモデル間の信頼を定義する。
• 契約的信頼を導入し、信頼性を区別する。
• 正当な信頼と不当な信頼を区別し、それらの含意を論じる。
• 信頼がXAIとモデル評価にどのように関連するかを説明する。
• 現実の対話において信頼できるAIを設計・評価するための枠組みを提案する。

提案手法

• 信頼の2つの核心的特性を採用する: ユーザーの脆弱性とAIの影響を予測する能力。
• AIが何を行うと信頼されるべきかを明示するために契約的信頼を形式化する。
• 信頼性と信頼を区別し、正当な信頼と不当な信頼を定義する。
• 内在的信頼（内部推論と整合していること）と外在的信頼（外部の信頼できる行動）を信頼促進機構として特徴づける。
• 契約を特定するために、欧州の指針と標準文書（例: datasheets, model cards）にフレームワークを関連付ける。
• 外在的信頼を正当化するための評価方法論（proxy explanations、post-deployment data、test sets）について議論する。

実験結果

リサーチクエスチョン

• RQ1 人間‐AIの信頼の前提条件は何か？
• RQ2 人間‐AIの相互作用において、契約的信頼と信頼性を形式的にどのように定義できるか？
• RQ3 AIにおける正当な信頼と不当な信頼を分けるのは何か？
• RQ4 XAIの役割を含む実務での信頼をどのように促進・評価できるか？
• RQ5 提案された形式化は、既存のガイドラインと文書作成実務とどのように関連するか？

主な発見

• 人間とAIの間の信頼は、影響を受ける脆弱性と影響の予測を要求する方向性の取引である。
• 契約的信頼と信頼性は、信頼が正当か不当かを区別するために形式化できる。
• 信頼は文脈依存になり得て、契約は対話の文脈に条件づけられる。
• 信頼機構には、内在的信頼（ユーザーの事前知識と整合した説明可能な推論）と外在的信頼（評価方法とデータへの信頼）が含まれる。
• 評価スキーム（proxy judgments、post-deployment data、and test sets）は、外在的信頼を確立し、契約を維持できるかを評価するために不可欠である。
• Explainability in AI should align with user priors and contract-specific goals to foster genuine trust rather than mere perception.