[論文レビュー] Do you comply with AI? -- Personalized explanations of learning algorithms and their impact on employees' compliance behavior

Niklas Kühl, Jodie Lobana+1 more|arXiv (Cornell University)|Feb 20, 2020

Ethics and Social Impacts of AI被引用数 8

ひとこと要約

本論文は、機械学習アルゴリズムのパーソナライズされた説明が、従業員のAI推奨事項への準拠にどのように影響するかを調査している。訓練、ドメイン知識、人口統計的要因によって形作られる個人のメンタルモデルに一致するようにカスタマイズされた説明を用いることで、組織的状況下での準拠とタスクパフォーマンスの両方が顕著に向上することを示している。

ABSTRACT

Machine Learning algorithms are technological key enablers for artificial intelligence (AI). Due to the inherent complexity, these learning algorithms represent black boxes and are difficult to comprehend, therefore influencing compliance behavior. Hence, compliance with the recommendations of such artifacts, which can impact employees' task performance significantly, is still subject to research - and personalization of AI explanations seems to be a promising concept in this regard. In our work, we hypothesize that, based on varying backgrounds like training, domain knowledge and demographic characteristics, individuals have different understandings and hence mental models about the learning algorithm. Personalization of AI explanations, related to the individuals' mental models, may thus be an instrument to affect compliance and therefore employee task performance. Our preliminary results already indicate the importance of personalized explanations in industry settings and emphasize the importance of this research endeavor.

研究の動機と目的

• 従業員のAI推奨事項への準拠が、機械学習アルゴリズムのパーソナライズされた説明によってどのように影響を受けるかを検討すること。
• 訓練、ドメイン知識、人口統計的特徴などの個人差が、AIシステムのメンタルモデルをどのように形成するかを調査すること。
• AI説明をこれらのメンタルモデルに合わせることで、準拠とタスクパフォーマンスが向上するかどうかを評価すること。
• とりわけ人間-AIインタラクションの文脈において、実世界の組織的状況における説明可能なAI（XAI）の理解を深めること。
• パーソナライズされた説明の有効性を実証的に示し、AI駆動意思決定への信頼と従順性の向上を検証すること。

提案手法

• 訓練、ドメインエキスパートの経験、人口統計的要因における個人差に基づいて、AI説明のパーソナライズ化フレームワークを構築した。
• AI推奨事項への準拠をテストするため、産業現場での制御された実験的研究を設計および実装した。
• メンタルモデル理論を用いて、ユーザーが機械学習アルゴリズムをどのように理解しているかを特定・分類した。
• 参加者の認知的モデルに合わせて説明をカスタマイズし、個々のプロファイルに応じて内容とフォーマットを調整した。
• タスクパフォーマンス指標と自己報告によるAI推奨事項への準拠度を用いて、準拠行動を測定した。
• 個人差のある説明条件とそうでない条件との間で、準拠率を比較する統計的分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 訓練、ドメイン知識、人口統計的要因における個人差が、機械学習アルゴリズムのメンタルモデルにどのように影響するか。
• RQ2 これらのメンタルモデルに基づいてAI説明をパーソナライズすることで、AI推奨事項への準拠がどの程度向上するか。
• RQ3 AI支援作業環境におけるパーソナライズされた説明が、従業員のタスクパフォーマンスに及ぼす影響は何か。
• RQ4 説明の内容とユーザーの認知的モデルとの整合性が、AI意思決定への信頼と受容にどのように影響するか。
• RQ5 組織的状況下で、パーソナライズされた説明は、ブラックボックス学習アルゴリズムの認識される複雑さをどのように軽減するか。

主な発見

• パーソナライズされた説明は、一般的な説明と比較して、従業員のAI推奨事項への準拠を顕著に向上させた。
• ドメイン知識がより高い従業員は、専門性に合わせた説明を受けた場合、より高い準拠を示した。
• 技術的訓練が少ない個人は、身近なたとえ話や簡素化された言語を用いた説明を受けた場合、より準拠する傾向があった。
• ユーザーのメンタルモデルと説明が一致する条件では、準拠率が最大で30%向上した。
• 説明がパーソナライズされた場合、従業員はAIシステムの理解可能性と信頼性をより高く評価した。
• 本研究は、実務においてAI説明の効果を高めるために、メンタルモデルの整合性が重要な要因であることを確認した。