[論文レビュー] Why Does My Model Fail? Contrastive Local Explanations for Retail Forecasting

Ana Lučić, Hinda Haned+1 more|UvA-DARE (University of Amsterdam)|Jul 17, 2019

Explainable Artificial Intelligence (XAI)参考文献 22被引用数 7

ひとこと要約

本論文では、大規模な予測誤差を説明するための対照的局所解釈手法であるMC-BRPを提案する。この手法は、妥当な予測をもたらすために必要な特徴量の範囲とトレンドを特定し、ユーザーが予測誤差を理解するのを顕著に向上させる。75名の参加者を対象としたユーザースタディにおいて、MC-BRPの説明により、モデルの誤差に関する客観的質問に対して81.1%の正答率が達成され、複雑な「ブラックボックス」モデルにおける解釈可能性と実行可能性の両面で優れた効果を示した。

ABSTRACT

In various business settings, there is an interest in using more complex machine learning techniques for sales forecasting. It is difficult to convince analysts, along with their superiors, to adopt these techniques since the models are considered to be "black boxes," even if they perform better than current models in use. We examine the impact of contrastive explanations about large errors on users' attitudes towards a "black-box'" model. We propose an algorithm, Monte Carlo Bounds for Reasonable Predictions. Given a large error, MC-BRP determines (1) feature values that would result in a reasonable prediction, and (2) general trends between each feature and the target, both based on Monte Carlo simulations. We evaluate on a real dataset with real users by conducting a user study with 75 participants to determine if explanations generated by MC-BRP help users understand why a prediction results in a large error, and if this promotes trust in an automatically-learned model. Our study shows that users are able to answer objective questions about the model's predictions with overall 81.1% accuracy when provided with these contrastive explanations. We show that users who saw MC-BRP explanations understand why the model makes large errors in predictions significantly more than users in the control group. We also conduct an in-depth analysis on the difference in attitudes between Practitioners and Researchers, and confirm that our results hold when conditioning on the users' background.

研究の動機と目的

• 小売予測に用いられる複雑な「ブラックボックス」機械学習モデルにおける大規模な予測誤差を説明する課題に対処すること。
• 妥当な予測をもたらすために必要な特徴量の値を示す対照的説明を提供することで、ユーザーのモデル障害に対する信頼と理解を向上させること。
• このような説明が、特に実際のビジネス環境において、ユーザーがモデルの誤差を解釈し、それに対処する能力を向上させるかどうかを評価すること。
• 実務家と研究者との間で、モデル誤差の説明を提示された際のユーザーの認識に差이 있는かどうかを調査すること。
• 機械学習の専門知識の程度が異なるユーザーに対しても、解釈可能かつ実行可能である手法を開発すること。

提案手法

• MC-BRPは、与えられた大規模な誤差に対して妥当な予測をもたらすように、入力インスタンスの摂動版をモンテカルロシミュレーションで生成する。
• 各重要な特徴量について、妥当な予測をもたらす摂動値の範囲（平均±標準偏差）を計算し、実行可能なしきい値を提供する。
• 各特徴量と目的変数との間のピアソン相関を計算することで、予測に影響を与える一般的なトレンドを明らかにする。
• 本手法は、誤差を事後に説明することに焦点を当てており、事前に誤差を予測することを目的としない。真の値（ground truth）を用いて説明生成をガイドする。
• 説明は「何が悪かったか」と「どのような値であれば妥当な予測だったか」という対照的ペアとして提示される。
• 本手法はモデルに依存しない設計であり、誤差距離を定義するか、すべての誤差を大規模とみなすことによって分類問題へも拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 RQ1: MC-BRPの説明は、提示された特徴量の範囲とトレンドに基づいて、ユーザーがモデル出力を再現的にシミュレートするのをどの程度解釈可能に支援するか？
• RQ2 RQ2: MC-BRPの説明は、妥当な予測をもたらすために必要な特徴量の値の変更をユーザーが特定するのをどの程度実行可能に支援するか？
• RQ3 RQ3: MC-BRPの説明は、モデルが大規模な誤差を起こした理由を理解するのを、説明なしの状況と比較してどの程度向上させるか？
• RQ4 RQ4: MC-BRPの説明は、モデルの導入を支持する姿勢、モデルに対する信頼、またはモデルのパフォーマンスの認識を向上させるか？
• RQ5 RQ5: 実務家と研究者との間で、モデルの誤差説明に対する認識に差があり、MC-BRPの有効性がユーザーの背景によって異なるか？

主な発見

• MC-BRPの説明が提供されたユーザーは、モデルの予測に関する客観的質問に対して81.1%の正答率を示し、コントロール群を顕著に上回った。
• 前方シミュレーションでは、ユーザーがMC-BRPの説明に基づいてモデル出力を予測する際、84.5%の正答率を達成し、説明の解釈可能性を裏付けた。
• 反事後的シミュレーションでは、ユーザーが妥当な予測をもたらすために必要な特徴量の変更を特定する際、76.2%の正答率を達成し、説明の実行可能性を示した。
• MC-BRPは、ユーザーがモデルが大規模な誤差を起こした理由を理解するのを顕著に向上させた（SQ1）。ただし、信頼度、導入支援、パフォーマンス認識については有意差が認められなかった（SQ2–SQ4）。
• 実務家と研究者との間で、SQ2、SQ3、SQ4に対する回答に顕著な差が認められたが、誤差の原因理解（SQ1）には有意差が認められなかった。
• ユーザーの背景にかかわらず、本手法の有効性が維持されることから、異なる専門知識レベルに対しても堅牢であることが示された。