[論文レビュー] On the Art and Science of Machine Learning Explanations

Patrick Hall|arXiv (Cornell University)|Oct 5, 2018

Explainable Artificial Intelligence (XAI)参考文献 31被引用数 32

ひとこと要約

本論文は、LIME、SHAP、部分的依存プロット、およびスラムラティス決定木といった、実世界の応用における機械学習モデルを解釈するための包括的で実用的な説明可能AI技術についての包括的かつ実用的なガイドを提示する。金融機関の信用リスク用途での応用を示し、局所的およびグローバルな説明がモデルの信頼性、規制準拠性、公平性を向上させることを示す。また、再現可能なソフトウェア例を通じて、責任ある導入を提唱する。

ABSTRACT

This text discusses several popular explanatory methods that go beyond the error measurements and plots traditionally used to assess machine learning models. Some of the explanatory methods are accepted tools of the trade while others are rigorously derived and backed by long-standing theory. The methods, decision tree surrogate models, individual conditional expectation (ICE) plots, local interpretable model-agnostic explanations (LIME), partial dependence plots, and Shapley explanations, vary in terms of scope, fidelity, and suitable application domain. Along with descriptions of these methods, this text presents real-world usage recommendations supported by a use case and public, in-depth software examples for reproducibility.

研究の動機と目的

• 従来の誤差指標を超えて、実務家が実行可能で再現可能な方法で複雑な機械学習モデルを説明できるようにすること。
• GDPR やフェア・クレジットレポート法（Fair Credit Reporting Act）などの規制準拠性と公平性が重要な高リスク分野（例：金融）におけるモデル解釈性の増大するニーズに対応すること。
• 「フェアウォーシング（fairwashing）」のような誤解を招きやすい、あるいは誤用される可能性のあるアプローチとは対照的に、理論的裏付けのある堅実な手法を区別することで、説明可能ツールの責任ある使用を促進すること。
• 解釈可能なモデル、デバッグ、公平性評価と説明技術を統合し、ミッションクリティカルなシステムにおける信頼性と透明性を向上させること。
• すべての説明手法とユースケースについて、公開されたソフトウェア例とコードリンクを提供することで、再現性を支援すること。

提案手法

• モデルの説明を解釈可能なモデル、デバッグ、公平性分析と統合した人間中心のワークフローを採用し、差別的影響を低減する。
• スラムラティス決定木（h_tree）を用いて、複雑なモデルを局所的に近似し、直感的な特徴量の重要度と相互作用の解釈を可能にする。
• 局所的でモデルに依存しない解釈（LIME）を用いて、個々の予測に対するインスタンス固有の特徴量寄与度を生成する。
• シャープリー値（tree SHAP）を用いて、理論的公理（公平性と加法性）を満たし、局所的に正確で一貫性のある特徴量寄与度を計算する。
• 部分的依存プロット（PDPs）と個別条件期待（ICE）プロットを用いて、モデル出力に対するグローバルおよびローカルな特徴量効果を可視化する。
• UCI クレジットカード延滞データセットを用いて手法を検証し、予測延滞リスクの百分位数ごとに説明を評価する目的で30%の検証セットを用いる。

実験結果

リサーチクエスチョン

• RQ1 局所的およびグローバルな説明技術を効果的に統合することで、高リスク分野におけるモデルの透明性と信頼性をどのように向上させられるか？
• RQ2 LIME、SHAP、PDPs、ICE、またはスラムラティスモデルのうち、金融分野の機械学習において規制準拠性と人間の理解を最も効果的に支援するのはどれか？
• RQ3 説明手法は、返済状況と支払額の間の隠れた相互作用や特徴量依存関係を、信用リスクモデルにおいてどの程度明らかにできるか？
• RQ4 説明は、予測における人種的・文化的グループごとの差別的影響を検出・是正するために、どのように活用できるか？
• RQ5 残差分析や感度分析を含むモデルデバッグにおいて、説明技術はモデルの頑健性と信頼性を確保するために、どのような役割を果たすか？

主な発見

• スラムラティス決定木（h_tree）モデルは、PAY_0 < 0.5 かつ PAY_AMT2 ≥ 4747.5 の場合に低延滞確率、PAY_0 ≥ 1.5 かつ PAY_5 ≥ 1 かつ BILL_AMT4 < 17399.5 の場合に高延滞確率であるといった、重要な相互作用を効果的に捉えていた。
• 予測延滞リスクの10百分位、50百分位、90百分位におけるTree SHAPの説明は、リスクが高くなるにつれて一貫して特徴量寄与度が増加しており、手法の忠実性が裏付けられた。
• 最高リスク顧客（90百分位）において、高リスク予測の主な要因となった3つの要因は、直近2か月遅延した支払い、4か月前支払いが2か月遅延した、および3か月前支払額が0 NT$であったことであった。
• 局所的説明（SHAP）、グローバルトレンド（PDPs）、およびスラムラティスモデルの組み合わせにより、モデルの信頼性と公平性を総合的に診断するワークフローが可能になった。
• GDPR第22条やフェア・クレジットレポート法で求められるように、説明は監査可能で人間が読める意思決定根拠を提供することで、規制準拠性を支援した。
• 本研究は、説明技術をモデルデバッグおよび公平性分析と統合することで、ミッションクリティカルな機械学習システムの信頼性と監査可能性が著しく向上することを示した。