[論文レビュー] Trust and Reliance in XAI -- Distinguishing Between Attitudinal and Behavioral Measures

Nicolas Scharowski, Sebastian A. C. Perrig+2 more|arXiv (Cornell University)|Mar 23, 2022

Personal Information Management and User BehaviorDecision Sciences被引用数 17

ひとこと要約

この論文は、XAI研究における態度的信頼と行動的依存の間の重要な区別を主張しており、これら2つの構成概念を混同すると、透明性の影響に関する一貫性のない結果が生じることを示している。信頼はアンケートで、依存は行動的指標で別々に測定することを提唱することで、測定の厳密性を高め、XAI評価における曖昧さを解消する理論的基盤を提供する。

ABSTRACT

Trust is often cited as an essential criterion for the effective use and real-world deployment of AI. Researchers argue that AI should be more transparent to increase trust, making transparency one of the main goals of XAI. Nevertheless, empirical research on this topic is inconclusive regarding the effect of transparency on trust. An explanation for this ambiguity could be that trust is operationalized differently within XAI. In this position paper, we advocate for a clear distinction between behavioral (objective) measures of reliance and attitudinal (subjective) measures of trust. However, researchers sometimes appear to use behavioral measures when intending to capture trust, although attitudinal measures would be more appropriate. Based on past research, we emphasize that there are sound theoretical reasons to keep trust and reliance separate. Properly distinguishing these two concepts provides a more comprehensive understanding of how transparency affects trust and reliance, benefiting future XAI research.

研究の動機と目的

• XAIにおける透明性の信頼への影響に関する一貫性のない実証的 findings を解消するため、信頼と依存の間の概念的混乱を特定すること。
• 信頼（態度的で主観的な構成概念）と依存（行動的で客観的な結果）は理論的に別個であり、実務的運用において混同すべきでないことを主張すること。
• 行動的指標（例：依存率）を用いて信頼を測定するとするが、実際には信頼を測定していると主張することは、誤解を招き、誤った結論を導くことになることを強調すること。
• 明確な運用定義と測定フレームワークを提唱することで、XAIにおけるより厳密な科学的基盤を築くこと。
• 今後の研究が、人間-AIインタラクションの確立された理論的モデルを踏まえて、信頼と依存を同時に測定することを促すこと。

提案手法

• 社会心理学および人間-自動化インタラクション理論に基づき、信頼を心理的態度として、依存を観察可能な行動として区別する理論的枠組みを提唱する。
• Lai & Tan (2019) や Cheng et al. (2019) などの実証的XAI研究をレビューし、運用定義において依存がしばしば信頼と誤ってラベル付けされている例を示す。
• AjzenとFishbein (1980) の態度-行動関係モデルを適用し、態度（信頼など）が行動（依存など）を決定的に予測するわけではないことを強調する。
• LeeとSee (2004) や HoffとBashir (2015) の信頼と依存に関する確立されたモデルを活用し、概念的分離の正当性を裏付け、測定設計を支援する。
• 信頼は検証済みのアンケート尺度で、依存は直接的な行動観察またはタスク実行指標で測定する二重測定アプローチを推奨する。
• 現在のXAI研究における概念的不一致の程度を評価し、標準化された測定フレームワークを構築するための体系的文献レビューを要請する。

実験結果

リサーチクエスチョン

• RQ1 現在のXAI研究において、信頼と依存はどの程度混同されており、その混同にどのような結果が生じるか？
• RQ2 なぜ、行動的指標による依存を態度的信頼の代理として用いることが、理論的にも実証的にも問題となるのか？
• RQ3 信頼と依存の明確な区別が、XAI評価研究の妥当性と再現可能性をどのように向上させ得るか？
• RQ4 信頼と依存を同時に測定することが、人間-AIインタラクションにおける透明性の影響を理解する上でどのような意味を持つのか？
• RQ5 今後のXAI研究は、主観的態度と客観的行動を区別するより厳密な測定フレームワークをどのように採用すべきか？

主な発見

• XAI分野の実証的研究では、行動的依存が態度的信頼と頻繁に混同されており、透明性の影響に関する曖昧で一貫性のない結果が生じている。
• LaiとTan (2019) は信頼を依存率（行動的指標）として運用定義した一方、Chengら (2019) はアンケートベースの信頼尺度を用いたため、同じ構成概念に対し異なる測定アプローチが採用されていることが明らかになった。
• 信頼と依存の間に決定的リンクはない。状況的要因、認知的要因、作業負荷の要因によって、高信頼でも低依存を示す者や、逆に低信頼でも高依存を示す者が存在する。
• LeeとSee (2004) の信頼-依存フレームワークは、信頼が依存の必要条件ではあるが十分条件ではないことを示しており、別々の測定が不可欠であることを強調している。
• 依存を信頼と誤ってラベル付けすることは、結果の誤解を招き、特に比較研究において、XAI評価の科学的厳密性を損なう。
• 信頼（検証済み尺度による測定）と依存（行動的指標による測定）を両方とも評価する二重測定アプローチが、正確で理論的根拠を持つXAI研究にとって不可欠である。