[論文レビュー] Global Explanations of Neural Networks: Mapping the Landscape of Predictions

Mark Ibrahim, Melissa Louie+2 more|arXiv (Cornell University)|Feb 6, 2019

Explainable Artificial Intelligence (XAI)参考文献 22被引用数 19

ひとこと要約

本稿では、類似した局所的特徴帰属値をサブポピュレーションにグループ化することで、ニューラルネットワークのグローバルな説明を生成するGAM（Global Attribution Mapping）を提案する。この手法により、解釈可能で詳細かつサンプルごとの追跡が可能な説明が可能となり、予測を駆動する特徴が異なるデータサブグループでどのように作用するかを明らかにすることで、モデルの透明性が向上する。GAMは、既知の特徴重要度と強い整合性を示し、ユーザースタディーでも高い使いやすさを示している。

ABSTRACT

A barrier to the wider adoption of neural networks is their lack of interpretability. While local explanation methods exist for one prediction, most global attributions still reduce neural network decisions to a single set of features. In response, we present an approach for generating global attributions called GAM, which explains the landscape of neural network predictions across subpopulations. GAM augments global explanations with the proportion of samples that each attribution best explains and specifies which samples are described by each attribution. Global explanations also have tunable granularity to detect more or fewer subpopulations. We demonstrate that GAM's global explanations 1) yield the known feature importances of simulated data, 2) match feature weights of interpretable statistical models on real data, and 3) are intuitive to practitioners through user studies. With more transparent predictions, GAM can help ensure neural network decisions are generated for the right reasons.

研究の動機と目的

• 特に多様なサブポピュレーションにわたるニューラルネットワークにおけるグローバルな解釈可能性の欠如に取り組むこと。
• 既存のグローバル帰属手法がサブポピュレーションの認識を持たないまま、説明を単一の特徴セットに簡略化してしまうという限界を克服すること。
• グローバル帰属を特定のデータサンプルおよびサブポピュレーションに結びつける手法を提供することで、モデルの診断および公平性評価を向上させること。
• GAMのグローバルな説明が、解釈可能なモデル（例：XGBoost）から得られた既知の特徴重要度と整合しており、実務家にとって直感的であることを検証すること。
• 文脈に応じて柔軟に調整可能な粒度でサブポピュレーション検出を可能にする、調整可能な粒度制御を提供すること。

提案手法

• 各局所的帰属値を、特徴重要度と相対順位の両方を保持する重み付き特徴順位の集合とみなす。
• 順位に基づく距離（重み付きおよび非重み付き）を用いて、局所的帰属値間の類似度を測定し、類似した帰属値のクラスタリングを可能にする。
• 特徴重要度順位の類似性に基づいて、階層的クラスタリングを適用し、局所的帰属値をサブポピュレーションにグループ化する。
• 各グローバル帰属値をサブポピュレーションに割り当て、それが最もよく説明するサンプルの割合を報告する。
• サブポピュレーション検出の粒度を制御するための調整可能なクラスタリング閾値を用いることで、より多くまたは少ないサブポピュレーションを生成可能にする。
• 各グローバル帰属値を特定のサンプルにさかのぼれるようにし、各説明がどのデータポイントを最もよく説明しているかを実務家が検査できるようにする。

実験結果

リサーチクエスチョン

• RQ1 GAMは、実世界のデータにおけるXGBoostなどの解釈可能なモデルから得られた既知の特徴重要度を正確に反映するグローバル帰属値を生成できるか？
• RQ2 GAMのグローバル説明は、複数の局所的説明手法（勾配ベース）から導かれた特徴重要度順位とどの程度整合性を示すか？
• RQ3 実世界のモデリングタスクにおいて、GAMの説明はSP-LIMEなどの既存のグローバル帰属手法よりも実務家にとって直感的であると感じられるか？
• RQ4 GAMがグローバル帰属値を特定のサブポピュレーションおよびサンプルに結びつける能力が、モデルの解釈可能性および診断能力をどの程度向上させるか？
• RQ5 GAMは、ニューラルネットワーク内の非線形特徴相互作用を効果的に捉えつつ、多様なデータサブポピュレーション全体で人間が解釈可能な説明を維持できるか？

主な発見

• シミュレーションデータでは、GAMのグローバル帰属値が、既知の特徴重要度を正しく回復しており、潜在的なパターンを捉える正確性が検証された。
• 実世界の信用リスクデータでは、F1スコアでXGBoostの上位10個の特徴重要度のうち上位7個と一致し、確立されたモデルと強い整合性を示した。
• ユーザースタディーでは、参加者の94％がGAMの棒グラフ説明に基づき、3つのノイズ特徴を正しく特定・削除できた。これは、高い使いやすさと解釈可能性を示している。
• 実務家はGAMとSP-LIMEの両者をほぼ同等に好んで使用しており、GAMが既存の最先端手法と同等の直感性を備えていることが示された。
• LIME、Integrated Gradients、DeepLIFTの3つの局所的説明手法すべてにおいて、GAMのグローバル帰属値は、臭気、胞子印刷色、集団、および gill-color を上位5位以内にランク付けしており、一貫性と安定性が裏付けられた。
• この手法は、74％のサンプルで集団が上位5位内に含まれることを特定し、サブポピュレーションに特化した特徴の関連性を浮き彫りにし、モデル意思決定の透明性を向上させた。