[論文レビュー] DALE: Differential Accumulated Local Effects for efficient and accurate global explanations

Vasilis Gkolemis, Theodore Dalamagas+1 more|arXiv (Cornell University)|Oct 10, 2022

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

本稿では、高次元の機械学習モデルにおける積分局所効果（ALE）を計算するための新規で効率的かつOODに強い近似手法DALE（Differential Accumulated Local Effects）を提案する。自動微分を用いて1回の順方向伝搬で特徴量の効果を計算することで、従来のALEに比べて数個のオーダーの高速化を達成しつつ、分布内サンプリングを維持する。その結果、特に幅広いビンサイズにおいても、合成データポイントを導入せずに、より正確な説明が得られる。

ABSTRACT

Accumulated Local Effect (ALE) is a method for accurately estimating feature effects, overcoming fundamental failure modes of previously-existed methods, such as Partial Dependence Plots. However, ALE's approximation, i.e. the method for estimating ALE from the limited samples of the training set, faces two weaknesses. First, it does not scale well in cases where the input has high dimensionality, and, second, it is vulnerable to out-of-distribution (OOD) sampling when the training set is relatively small. In this paper, we propose a novel ALE approximation, called Differential Accumulated Local Effects (DALE), which can be used in cases where the ML model is differentiable and an auto-differentiable framework is accessible. Our proposal has significant computational advantages, making feature effect estimation applicable to high-dimensional Machine Learning scenarios with near-zero computational overhead. Furthermore, DALE does not create artificial points for calculating the feature effect, resolving misleading estimations due to OOD sampling. Finally, we formally prove that, under some hypotheses, DALE is an unbiased estimator of ALE and we present a method for quantifying the standard error of the explanation. Experiments using both synthetic and real datasets demonstrate the value of the proposed approach.

研究の動機と目的

• 高次元データセットにおけるALEの計算非効率性を解消すること。
• ビンサイズが大きい場合にALEがOODサンプリングに対して脆弱である問題を解消すること。
• 分布内にとどまりつつ、スケーラブルで微分可能なグローバル特徴量効果の説明手法を構築すること。
• DALEの不偏性を形式的に証明し、近似の標準誤差を定量化すること。
• 訓練データセット上で事前に効果を計算することで、近似的に無視できる計算コストで、マルチスケールの特徴量効果プロットを可能にすること。

提案手法

• DALEは、自動微分フレームワークを用いて、各入力特徴量に関するモデル出力の微分を計算することで特徴量効果を算出する。
• ALEの積分を、訓練データポイント上で勾配を統合することで近似し、合成されたOODサンプルを回避する。
• 訓練データセットを1回の順方向伝搬で走査し、同時にすべての特徴量の勾配を計算する。
• ターゲット特徴量のビンごとに特徴量効果を蓄積し、勾配を用いて局所的変化を推定する。
• 推定に使用されるすべてのサンプルが訓練分布に属することを保証し、OODバイアスを排除する。
• 訓練データセット全体における勾配推定の分散に基づいて、標準誤差推定器を導出する。

実験結果

リサーチクエスチョン

• RQ1 微分可能で自動微分に基づく手法は、モンテカルロベースのALE近似に比べて著しく高い計算効率を達成できるか？
• RQ2 従来のALEが非効率になる高次元特徴量空間において、DALEは精度を維持できるか？
• RQ3 ビンサイズが大きく、OODサンプリングが問題となる状況下で、DALEの性能はALEに比べてどうなるか？
• RQ4 標準的な仮定の下で、DALEは真のALEの不偏推定量とみなせるか？
• RQ5 事前に計算されたDALE効果は、追加コストを最小限に抑えつつマルチスケールの特徴量効果可視化を可能にするか？

主な発見

• DALEは特徴量次元に対して実行時間をほぼ定数にまで短縮する一方、ALEは線形にスケーリングする。
• Bike-Sharingデータセットでは、粗いビニングに対してもDALEは低NMSE（K=100のとき0.007）を維持するが、ALEはOODサンプリングの影響で急激にNMSEが上昇（K=100のとき0.43）する。
• 特徴量Xhourに関して、DALEの近似はビンサイズにかかわらず安定しているが、ALEはビンが広がるにつれて著しく劣化する。
• DALEはややきつい正則性条件の下で、ALEの不偏推定量であることが形式的に証明された。
• DALEで事前に計算された勾配により、追加計算コストを無視できるほどにマルチスケールの特徴量効果プロットが可能になる。
• さまざまな解像度で特徴量効果プロットを生成する際、DALEはほぼゼロの追加計算コストを実現し、インタラクティブで適応可能な説明ワークフローを可能にする。