[論文レビュー] A Human-Centric Assessment Framework for AI

Sascha Saralajew, Ammar Shaker+6 more|arXiv (Cornell University)|May 25, 2022

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

この論文は、AIシステムの解決策受容率を人間の専門家と比較することで、盲検・制御された実験においてAIを評価する人間中心の評価フレームワークを提案する。AIが生成した解決策と人間が生成した解決策の受容頻度を、ソースを知らない状態で測定することで、AIのパフォーマンスと説明可能性の質を定量化し、従来の評価手法に比べてバイアスに強く、信頼性の高い代替手法を提供する。

ABSTRACT

With the rise of AI systems in real-world applications comes the need for reliable and trustworthy AI. An essential aspect of this are explainable AI systems. However, there is no agreed standard on how explainable AI systems should be assessed. Inspired by the Turing test, we introduce a human-centric assessment framework where a leading domain expert accepts or rejects the solutions of an AI system and another domain expert. By comparing the acceptance rates of provided solutions, we can assess how the AI system performs compared to the domain expert, and whether the AI system's explanations (if provided) are human-understandable. This setup -- comparable to the Turing test -- can serve as a framework for a wide range of human-centric AI system assessments. We demonstrate this by presenting two instantiations: (1) an assessment that measures the classification accuracy of a system with the option to incorporate label uncertainties; (2) an assessment where the usefulness of provided explanations is determined in a human-centric manner.

研究の動機と目的

• 説明可能なAIシステムのための標準化された人間中心の評価手法の欠如に対処すること。
• 人間のAIに対する認識によるバイアスが生じないよう、AIのパフォーマンスを人間専門家と公平に比較するフレームワークを構築すること。
• 現実世界の意思決定文脈におけるAIの正確性と説明の有用性の両方を評価可能にする。
• 人間の精神的シミュレーションに依存するため、超人的なパフォーマンスを評価できない、シミュラビリティやメタ予測モデルといった従来の代理指標の限界を克服すること。
• 医療や法的分野など、高リスク分野におけるAIシステムの検証に一般化可能で、分野に依存しない方法を提供すること。

提案手法

• リーダー専門家（L）、人間専門家（E）、AIシステム（S）の3人による設定で、タスクがEまたはSにランダムに割り当てられ、Lはソースを知らない。
• 解決策は、事前に定義された承認ガイドラインに基づきリーダー専門家によって評価され、受容はソース（E または S）にマッピングされる。
• 受容率は経験的に計算される：$ p_S = \frac{1}{\#\mathrm{T}_S} \sum_{\tau \in \mathrm{T}_S} L(\tau, S(\tau)) $ および $ p_E = \frac{1}{\#\mathrm{T}_E} \sum_{\tau \in \mathrm{T}_E} L(\tau, E(\tau)) $。
• フレームワークは2通りの方法で実装される：(1) ラベルの不確実性を伴う分類精度の測定、(2) 時間制約付き意思決定による説明の有用性の評価。
• リーダー専門家は迅速な意思決定を要し、説明はタイムリーかつ正確な判断を可能にする場合にのみ受容される。
• リーダー専門家が解決策の出所（人間かAIか）を知らないようにすることで、バイアスを回避し、客観性を保つ。

実験結果

リサーチクエスチョン

• RQ1 真のラベルや人間のシミュレーションに依存せずに、人間中心のフレームワークがAIパフォーマンスを信頼性高く評価できるか？
• RQ2 現実世界での実用性を反映する形で、AIの説明の有用性を定量的に測定する方法は何か？
• RQ3 盲検設定下でリーダー専門家が評価する際、AIシステムが分野特化タスクで人間専門家を上回る程度はどの程度か？
• RQ4 説明の有無が、時間制約下での専門家の意思決定のスピードと正確性を向上させるか？
• RQ5 このフレームワークは、標準的な正確性指標では捉えきれないが、AIシステムが人間を上回るパフォーマンスを示すケースを検出できるか？

主な発見

• このフレームワークは、盲検実験設定下でAIと人間専門家の受容率を比較することで、バイアスのない人間中心のAIシステム評価を可能にする。
• この手法は、確率的受容しきい値を用いてラベルの不確実性を組み込むことで、標準的な分類精度を一般化する。
• 時間的圧力下で、説明が迅速かつ正確な意思決定を可能にするかどうかを測定することで、説明の有用性を評価できる。
• リーダー専門家が迅速な判断を要するようにすることで、説明が理論的ではなく実際の現場で本当に役立つのかを明らかにする。
• 従来の手法（メタ予測モデルやシミュラビリティ）に見られるバイアスを回避し、人間の精神的シミュレーションに依存するため、超人的なAI能力を検出できない問題を解消する。
• このフレームワークは、人間を上回るパフォーマンスを示すAIシステムの評価を可能にし、従来の説明可能性評価手法に見られる制限を克服する。