[論文レビュー] Global Aggregations of Local Explanations for Black Box models

Ilse van der Linden, Hinda Haned+1 more|arXiv (Cornell University)|Jul 5, 2019

Explainable Artificial Intelligence (XAI)参考文献 19被引用数 29

ひとこと要約

本稿では、ブラックボックスモデルにおけるグローバルなモデル行動を推定するために、局所的なLIME解釈を統合するフレームワークであるグローバル解釈の局所的集約（GALE）を提案する。標準的なグローバルLIME重要度では、グローバル意思決定ルールを信頼性高く表現できないことが示され、一方で同質性重み付き集約は、特徴をより明確に特定し、テキスト分類タスクにおいてより正確で洞察に富んだグローバルな解釈を提供することがわかった。

ABSTRACT

The decision-making process of many state-of-the-art machine learning models is inherently inscrutable to the extent that it is impossible for a human to interpret the model directly: they are black box models. This has led to a call for research on explaining black box models, for which there are two main approaches. Global explanations that aim to explain a model's decision making process in general, and local explanations that aim to explain a single prediction. Since it remains challenging to establish fidelity to black box models in globally interpretable approximations, much attention is put on local explanations. However, whether local explanations are able to reliably represent the black box model and provide useful insights remains an open question. We present Global Aggregations of Local Explanations (GALE) with the objective to provide insights in a model's global decision making process. Overall, our results reveal that the choice of aggregation matters. We find that the global importance introduced by Local Interpretable Model-agnostic Explanations (LIME) does not reliably represent the model's global behavior. Our proposed aggregations are better able to represent how features affect the model's predictions, and to provide global insights by identifying distinguishing features.

研究の動機と目的

• ブラックボックスモデルにおける局所的解釈とグローバルなモデル行動のギャップを埋めるため。
• 局所的解釈を集約することで、信頼性があり解釈可能なグローバルな知見が得られるかどうかを評価するため。
• モデルのグローバル意思決定プロセスにどの程度忠実かを比較するための、さまざまな集約戦略の評価。
• マルチクラステキスト分類において、特徴の重要度を複数のクラスにわたって最もよく捉える集約手法の同定。
• 忠実度を損なわず、複雑なモデルの解釈可能性を向上させるフレームワークの開発。

提案手法

• GALEは、複数のインスタンスにわたる局所的LIME解釈を集約してグローバルな特徴重要度スコアを導出する。
• 3つの集約戦略を評価する：グローバルLIME重要度、グローバル平均重要度、同質性重み付き重要度。
• 同質性重み付き重要度は、特徴の属性が複数のクラスにわたって一貫しているかどうかに応じて重要度を調整し、混合クラス属性を持つ特徴の影響を低減する。
• LIMEを用いて局所的解釈を生成する文書分類およびセンチメント分類タスクに、この手法を適用可能である。
• 視覚化と定性的分析を用いて、各クラスの上位特徴の代表性および特徴の明確さを評価する。
• フレームワークは、20 Newsgroupsデータセットを用いて感情分類およびドキュメント分類タスクで検証された。

実験結果

リサーチクエスチョン

• RQ1 局所的解釈を集約することで、ブラックボックスモデルのグローバル行動に関する信頼性があり有用な知見が得られるか？
• RQ2 さまざまな集約戦略は、モデルの真のグローバル意思決定ルールをどの程度適切に表現できるか？
• RQ3 グローバルLIME重要度は、モデルのグローバル特徴重要度を正確に反映しているのか、それとも局所的ノイズによってバイアスされているのか？
• RQ4 マルチクラステキスト分類において、どの集約手法がクラス区別特徴を最もよく特定できるか？
• RQ5 集約処理は、スケールが大きくなる中でも、局所的解釈の解釈可能性と忠実度をどの程度保持できるか？

主な発見

• グローバルLIME重要度は、共通語や標点記号のような実質的でない特徴を含むため、モデルのグローバル行動を信頼性高く表現できない。
• グローバル平均重要度は共通語や標点記号をフィルタリングすることでLIMEを改善するが、クラス間で一貫性に欠ける。
• 同質性重み付き重要度は、クラス固有の特徴クラスタを最も明確に生成し、グローバル意思決定ルールとの整合性が高いかを示している。
• 同質性重み付きアプローチは、複数のクラスにわたって高い属性値を持つ特徴の重要度を低減し、特定の1つのクラスに対して一貫して影響力を持つ特徴を優先する。
• 視覚化により、同質性重み付き集約は他の手法と比較して、各クラスごとにより解釈可能で明確な特徴セットを生成することが確認された。
• 結果から、局所的解釈から得られるグローバル知見の質と信頼性に、集約戦略の選択が顕著に影響することが示された。