[論文レビュー] The Role of Individual User Differences in Interpretable and Explainable Machine Learning Systems

Lydia P. Gleaves, Reva Schwartz+1 more|arXiv (Cornell University)|Sep 14, 2020

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

本研究は、個人差——特に数的処理能力、認知的探求欲求、データサイエンスの専門知識——が、ユーザーが機械学習モデルの出力を解釈し説明する能力にどのように影響するかを調査する。ファジィトラスス理論を用いて、解釈可能性と説明可能性は別個の認知的プロセスであることが判明し、解釈可能性は自己認識的特徴と正確な心的表象と強く関連しているが、説明可能性には有意な予測要因は認められなかった。結果から、ユーザーの心的モデルを踏まえたカスタマイズされたMLシステム設計の必要性が浮き彫りになった。

ABSTRACT

There is increased interest in assisting non-expert audiences to effectively interact with machine learning (ML) tools and understand the complex output such systems produce. Here, we describe user experiments designed to study how individual skills and personality traits predict interpretability, explainability, and knowledge discovery from ML generated model output. Our work relies on Fuzzy Trace Theory, a leading theory of how humans process numerical stimuli, to examine how different end users will interpret the output they receive while interacting with the ML system. While our sample was small, we found that interpretability -- being able to make sense of system output -- and explainability -- understanding how that output was generated -- were distinct aspects of user experience. Additionally, subjects were more able to interpret model output if they possessed individual traits that promote metacognitive monitoring and editing, associated with more detailed, verbatim, processing of ML output. Finally, subjects who are more familiar with ML systems felt better supported by them and more able to discover new patterns in data; however, this did not necessarily translate to meaningful insights. Our work motivates the design of systems that explicitly take users' mental representations into account during the design process to more effectively support end user requirements.

研究の動機と目的

• スキルおよび性格的特徴における個人差が、ユーザーが機械学習モデルの出力を解釈し説明する能力に与える影響を調査すること。
• 非専門家ユーザーがMLシステムと対話する際、解釈可能性と説明可能性が認知的に別個のプロセスであるかどうかを検証すること。
• ファジィトラスス理論が、ユーザーがモデル出力をどのようにエンコードし処理するかを予測する役割を果たすかを評価すること。
• 数的処理能力、認知的探求欲求、データサイエンスの専門知識といったユーザー特性のうち、どれがモデル出力からの有効な解釈や発見を予測するかを特定すること。
• 人間認知の経験的妥当な理論に基づいて、解釈可能で説明可能なMLシステムの設計を支援すること。

提案手法

• 非専門家参加者を対象に、デザインイベント中に4つの自動化された機械学習システムと対話するユーザーエクスペリメントを実施した。
• ファジィトラスス理論を用いて、ユーザーがモデル出力を正確な（verbatim）または要約的（gist）な表象としてどのようにエンコードするかをモデル化した。
• 構造化された評価とシステムとの対話から、解釈可能性、説明可能性、知識の発見に関するデータを収集した。
• 解釈可能性と説明可能性の構造を検証するため、確認的要因分析を実施し、両者が別々に負荷されることを確認した。
• 解釈可能性と説明可能性の予測要因をテストするため、システムタイプ、データセット、被験者特性を制御した回帰モデルを用いた。
• 自己報告によるデータサイエンスの専門知識、数的処理能力、認知的探求欲求を測定し、要因分析による妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 数的処理能力と認知的探求欲求における個人差が、ユーザーの機械学習モデル出力の解釈可能性にどのように影響するか？
• RQ2 解釈可能性と説明可能性は認知的に別個のプロセスであるのか、それとも共通の心的表象に依存するのか？
• RQ3 機械学習システムの経験が、ユーザーがデータ内の新しいパターンを発見する能力にどの程度予測するか？
• RQ4 異なるシステム設計が、ユーザー特性とは独立して、ユーザーの解釈可能性と説明可能性にどのように影響するか？
• RQ5 どのユーザー特性が、モデル出力に対する意味のある解釈を生成する能力を最もよく予測するか？

主な発見

• 解釈可能性と説明可能性は、確認的要因分析において別個の因子負荷を持つことから、別個の認知的プロセスであることが判明した。
• 数的処理能力と認知的探求欲求がより高いユーザーは、正確でverbatimな心的表象に強く依存する傾向にあり、有意に高い解釈可能性を示した。
• 形式的手法やMLシステムへの熟達は、パターン発見の増加と関連していたが、必ずしも深い洞察の獲得とは限らなかった。
• 意味のある解釈を生成する最も強い予測要因は「System A」の使用であった。これは、システム設計が解釈可能性に重要な役割を果たす可能性を示唆している。
• 説明可能性には有意な予測要因が認められず、測定されたユーザー特性によっては説明可能性は信頼性を持って予測できない可能性がある。
• データセットの種別は発見に顕著な影響を及ぼし、植物学と対テロデータセットはユーザーが効果的に探索することがより困難であった。