[論文レビュー] Are we measuring trust correctly in explainability, interpretability, and transparency research?

Tim Miller|arXiv (Cornell University)|Aug 31, 2022

Risk Perception and Management被引用数 13

ひとこと要約

この論文は、説明可能性、解釈可能性、透明性（XIT）研究における信頼の測定方法について、現在の手法がモデルの品質に応じた適切な信頼（キャリブレーションされた信頼）かどうかを捉えていないと批判する。自己報告による信頼尺度への依存は、信頼がモデルの品質に適切に一致しているかどうかを明らかにしない。本稿では、行動的タスクを通じた示された信頼（demonstrated trust）を統合し、モデルの信頼性を操作することで、XIT手法がキャリブレーションされた信頼を改善するかどうかを評価する手法を提唱する。人間-AIインタラクション研究におけるより厳密で行動的根拠に基づく信頼測定を進めるために、3つの実用的評価手法を提示する。

ABSTRACT

This paper presents an argument for why we are not measuring trust sufficiently in explainability, interpretability, and transparency research. Most studies ask participants to complete a trust scale to rate their trust of a model that has been explained/interpreted. If the trust is increased, we consider this a positive. However, there are two issues with this. First, we usually have no way of knowing whether participants should trust the model. Trust should surely decrease if a model is of poor quality. Second, these scales measure perceived trust rather than demonstrated trust. This paper showcases three methods that do a good job at measuring perceived and demonstrated trust. It is intended to be starting point for discussion on this topic, rather than to be the final say. The author invites critique and discussion.

研究の動機と目的

• 現在のXIT研究が、モデルの実際の信頼性に応じた信頼が適切かどうかを検証せずに、単に自己報告による信頼尺度に依存しているという欠陥を浮き彫りにすること。
• 認識された信頼（自己報告）だけでは不十分であり、XIT手法が適切にキャリブレーションされた信頼をもたらすかどうかを評価するには、行動的選択による示された信頼（demonstrated trust）を測定する必要があるという主張。
• 下位のモデルの信頼性を操作し、XIT手法が認識された信頼と実際のモデル信頼性の整合性を改善するかどうかを測定することで、XIT干渉の評価フレームワークを提唱すること。
• 単一時点での評価に依存するのではなく、信頼のダイナミクスを時間経過とともに追跡する縦断的研究を促すこと。
• XIT研究における信頼評価手法の改善を促進するコミュニティ全体の議論を開始し、モデル品質へのキャリブレーションと方法論的厳密性の必要性を強調すること。

提案手法

• 参加者がAIにタスクを委譲することを決定することで、行動を通じて信頼を示す「信頼の転倒ゲーム」や経済的ゲームなどの行動的信頼タスクを使用する。
• モデルの信頼性（例：正確性や信頼性の変動）を操作し、モデル品質に応じて信頼が増加または減少すべき状況を作り出す。
• 標準化されたリッカート尺度による自己報告による認識された信頼と、行動的選択による示された信頼を組み合わせ、XIT手法が認識と現実の間のキャリブレーションを改善するかどうかを評価する。
• 既存の信頼測定ツール（例：IMPACTSモデル、Jianらの信頼チェックリスト）を用いるが、モデルの信頼性を体系的に変化させる制御された実験設計の枠組み内で活用する。
• 実際の金銭的利害を組み込む意思決定タスクを統合し、信頼報告における応答バイアスを低減し、生態的妥当性を高める。
• 信頼の変化を時間経過で追跡する縦断的研究を設計し、XIT手法の長期的影響が信頼のキャリブレーションと依存行動に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 現在のXIT評価手法は、モデルの実際の信頼性に一致する信頼（キャリブレーションされた信頼）をどの程度測定しているか。
• RQ2 XIT研究において示された信頼を信頼性高く測定するにはどうすればよいか。また、この構概念を最もよく捉える行動的タスクは何か。
• RQ3 モデルの実際の信頼性を操作することで、XIT手法が認識された信頼と実際の信頼の間のキャリブレーションを改善するかどうかを特定するのを助けることができるか。
• RQ4 自己報告による信頼尺度はXIT研究においてどのような限界を抱えており、AIシステムへの過剰信頼や不適切な信頼をどのように見逃しているか。
• RQ5 縦断的評価設計は、XIT干渉への反応を含め、人間-AIチームにおける信頼ダイナミクスの理解をどのように向上させるか。

主な発見

• 現在のXIT研究の多くは、モデルの信頼性を検証せずに自己報告による信頼尺度に依存しているため、信頼がモデルの品質に適切にキャリブレーションされているかどうかを測定していない。
• 認識された信頼尺度だけでは、信頼が適切かどうかを判断できない。参加者は誤った説明によって品質が低いモデルに対しても信頼を寄せる可能性があり、この欠陥はアンケートでは捉えられない。
• 行動的タスク（例：委任意思決定）を通じた示された信頼は、自己報告よりも実際の依存行動を反映するため、より妥当な信頼の測定指標である。
• 本稿では、信頼評価にモデルの信頼性を操作することが不可欠であり、XIT手法が信頼のキャリブレーションを改善するかどうかを評価する必要があると示している。例えば、説明が信頼性の高いモデルでのみ信頼を高めるのかを検証する。
• 既存の手法（例：信頼の転倒ゲーム、インcentivized経済的ゲーム）は示された信頼を測定するのに有効であり、XIT評価フレームワークに統合すべきである。
• 本稿は、現在の評価慣行が不十分であり、特に縦断的状況において、行動的根拠に基づいたキャリブレーションされた信頼測定への移行を求める。