[論文レビュー] Use-Case-Grounded Simulations for Explanation Evaluation

Valerie Chen, Nari Johnson+3 more|arXiv (Cornell University)|Jun 5, 2022

Explainable Artificial Intelligence (XAI)被引用数 8

ひとこと要約

本稿では、説明コンテンツに基づき、実世界のMLユースケースにおける人間のパフォーマンスを予測するアルゴリズム的エージェントを用いたUse-Case-Grounded Simulated Evaluations (SimEvals)というフレームワークを紹介する。SimEvalsはエージェントの正確性を測定することで、説明手法を効率的にスクリーニングし、前方シミュレーション、モデルデバッグ、対向的推論のタスクにおいて、人間のパフォーマンスと強い整合性を示している。

ABSTRACT

A growing body of research runs human subject evaluations to study whether providing users with explanations of machine learning models can help them with practical real-world use cases. However, running user studies is challenging and costly, and consequently each study typically only evaluates a limited number of different settings, e.g., studies often only evaluate a few arbitrarily selected explanation methods. To address these challenges and aid user study design, we introduce Use-Case-Grounded Simulated Evaluations (SimEvals). SimEvals involve training algorithmic agents that take as input the information content (such as model explanations) that would be presented to each participant in a human subject study, to predict answers to the use case of interest. The algorithmic agent's test set accuracy provides a measure of the predictiveness of the information content for the downstream use case. We run a comprehensive evaluation on three real-world use cases (forward simulation, model debugging, and counterfactual reasoning) to demonstrate that Simevals can effectively identify which explanation methods will help humans for each use case. These results provide evidence that SimEvals can be used to efficiently screen an important set of user study design decisions, e.g. selecting which explanations should be presented to the user, before running a potentially costly user study.

研究の動機と目的

• 機械学習の説明を評価する際の人的被験者研究の高コストと範囲の制限を解決すること。
• 特定の実世界ユースケースにおいてどの説明手法が有効であるかを評価するための人的研究のスケーラブルな代替手段を同定すること。
• 研究者が下流タスクにおける予測的有用性に基づき、事前に説明手法をスクリーニングできる手法を提供すること。
• アルゴリズム的エージェントのパフォーマンスが、多様なユースケースにおいて人間のパフォーマンスと相関していることを示すこと。
• 有望な説明手法を事前に優先順位付けすることで、人的被験者研究の設計をより効率的かつ体系的に行えるようにすること。

提案手法

• 人的被験者に提示されるのと同じ情報コンテンツ（例：モデル予測、説明）を用いて、ユースケースの正しい答えを予測するアルゴリズム的エージェントを訓練する。
• エージェントのテストセット正答率を、人間の意思決定支援に寄与する説明コンテンツの有用性の代理指標として用いる。
• SimEvalsを、前方シミュレーション、モデルデバッグ、対向的推論の3つの実世界ユースケースを中心に設計する。
• 特徴抽出、モデル予測の埋め込み、最終分類のための連結を含む、段階的なニューラルネットワークを用いてエージェントを訓練する。
• 訓練にはバイナリクロスエントロピー損失、Adam最適化法、10エポックを用い、バッチサイズは16とする。
• 異なる説明タイプ（例：サリエンシーマップ、SHAP）におけるエージェントパフォーマンスを比較し、各ユースケースにおいて最も予測的である手法を同定する。

実験結果

リサーチクエスチョン

• RQ1 説明コンテンツを用いて訓練されたアルゴリズム的エージェントは、実世界のMLユースケースにおける人間のパフォーマンスを予測できるか？
• RQ2 どの説明手法が、異なるユースケースにおいて人間の正しい意思決定を最も予測できるか？
• RQ3 エージェントの正確性は、人的被験者研究における実際の人間のパフォーマンスとどの程度相関しているか？
• RQ4 説明の複雑さや可視化の有無といった要因が、SimEvalsが代理指標としての有効性にどの程度影響を与えるか？
• RQ5 SimEvalsは人的被験者研究の設計にかかるコストを低減し、効率を向上させることができるか？

主な発見

• モデル予測のみが提供された場合、アルゴリズム的エージェントは95％以上の正確性を達成しており、十分な情報があればタスクが実行可能であることが確認された。
• サリエンシーマップ（例：勾配、統合勾配）はエージェント正確性が50–65％にとどまり、ラベル誤りの検出に限界がある予測的有用性を示している。
• SimEvalsは、各ユースケースにおいて最も有用な説明手法を的確に同定し、期待される人間のパフォーマンスと強い整合性を示した。
• エージェント正確性は、人的研究の前段階で有望な説明手法を特定するための信頼できる代理指標として機能し、人的評価の徹底的実施を減らすのに寄与した。
• モデル予測の高いエージェント正確性にもかかわらず、エージェントと人間の間のパフォーマンス格差は、複雑さや可視化といった認知的要因が人間の意思決定に顕著に影響を与えることを示唆している。
• このフレームワークにより、研究者は説明手法を体系的にスクリーニングでき、リソース負担を軽減するとともに、人的被験者研究の設計品質を向上させることができる。