[論文レビュー] On Baselines for Local Feature Attributions

Johannes Haug, Stefan Zürn+2 more|arXiv (Cornell University)|Jan 4, 2021

Explainable Artificial Intelligence (XAI)参考文献 12被引用数 16

ひとこと要約

本稿は、表形式データの局所的特徴帰属におけるベースライン手法の新しい分類法を提案し、帰属品質に与える影響を実証的に評価している。ベースラインの選択が判別性能に顕著な影響を及ぼすことが判明しており、期待値、ガウス、定数、ぼかしベースラインが優れた結果を示した一方、一様分布および最大距離ベースラインは、データ分布との整合性が低いため、しばしば性能が劣ることがある。

ABSTRACT

High-performing predictive models, such as neural nets, usually operate as black boxes, which raises serious concerns about their interpretability. Local feature attribution methods help to explain black box models and are therefore a powerful tool for assessing the reliability and fairness of predictions. To this end, most attribution models compare the importance of input features with a reference value, often called baseline. Recent studies show that the baseline can heavily impact the quality of feature attributions. Yet, we frequently find simplistic baselines, such as the zero vector, in practice. In this paper, we show empirically that baselines can significantly alter the discriminative power of feature attributions. We conduct our analysis on tabular data sets, thus complementing recent works on image data. Besides, we propose a new taxonomy of baseline methods. Our experimental study illustrates the sensitivity of popular attribution models to the baseline, thus laying the foundation for a more in-depth discussion on sensible baseline methods for tabular data.

研究の動機と目的

• 局所的特徴帰属におけるベースライン手法を分類するための標準化されたフレームワークの欠如に応えること。
• さまざまなベースライン手法が表形式データの特徴帰属の判別的品質にどのように影響するかを実証的に評価すること。
• 複数の帰属モデルを用いて性能を比較することで、表形式データに最も適したベースライン手法を同定すること。
• 実務および今後の研究におけるベースライン選択の原則的根拠を提供すること。

提案手法

• 静的／動的および決定的／確率的特性に基づく2次元のベースライン手法分類法を提案する。
• 定数、期待値、ガウス、一様分布、最大距離、ぼかし、ニュートラルなどの既存のベースライン手法を、提案された分類法に分類する。
• LIME、KernelSHAP、DeepLIFT、Grad-CAMの4つの最先端の帰属モデルを用いて、異なるベースラインを用いた特徴帰属を生成する。
• 複数の表形式データセット（例：Communities、HAR、Fraud Detection）に対してアブレーションテストを実施し、帰属の判別的性能を測定する。
• 相対的な帰属品質を評価するための基準点として、ランダムベースラインを用いる。
• クラス不均衡や特徴タイプ（例：PCA変換済み特徴）の異なるデータセットにおける結果を分析する。

実験結果

リサーチクエスチョン

• RQ1 異なるベースライン手法は、表形式データにおける局所的特徴帰属の判別力にどのように影響するか？
• RQ2 どのようなベースライン手法が多様な表形式データセットにおいて一貫してより信頼性が高く情報量が多い帰属を生成するか？
• RQ3 ベースラインの選択が、予測の解釈可能性および公平性にどの程度影響を及ぼすか？
• RQ4 ベースライン手法の体系的分類は、実務におけるベースラインの原則的選択を改善できるか？

主な発見

• 期待値ベースラインは、学習データ上の特徴ごとの平均値を計算することで、データ生成分布に近似するため、一貫して高い判別的帰属を生成した。
• ガウスベースラインも優れた性能を示した。これは、特にデータが正規分布に従う場合に、特徴の中心傾向を適切にモデル化できるためと推測される。
• 定数ベースラインとぼかしベースラインの性能はほぼ同一であり、ぼかし処理が特徴の分散をほぼ一定の水準にまで低下させるため、実務上は機能的に同等であると考えられる。
• 一様分布および最大距離ベースラインは一般的に性能が劣り、しばしばランダムベースラインを上回ることができず、データ分布と整合性が低く、外れ値に近い値を生成する可能性があるためと推測される。
• 極度に不均衡なFraud Detectionデータセットでは、すべてのベースラインが同程度の性能を示した。これは、特徴工学の段階で判別的主成分が除去されたため、全体の信号が弱まった可能性がある。
• KernelSHAPの性能は次元数の増加に伴い低下したが、これは既知の計算的制限を確認したものであり、十分なサンプル数が確保できる場合には理論的に最適な性能を維持した。