[論文レビュー] Unifying local and global model explanations by functional decomposition of low dimensional structures

Munir Hiabu, Joseph T. Meyer+1 more|arXiv (Cornell University)|Aug 12, 2022

Scientific Computing and Data Management参考文献 38被引用数 7

ひとこと要約

本稿では、任意の回帰または分類関数を主効果および相互作用効果の和として表現することにより、局所的（SHAP）およびグローバル的（部分従属）説明を統合する関数的分解手法を提案する。新たな同定制約を導入することで、介入的SHAP値および部分従属プロットの正確な計算が可能となり、保護された特徴を含むバイアスの原因となる成分を後から除去できる。これにより、低次元またはアンサンブルベースのモデルにおいても、正当で解釈可能なモデル説明を維持できる。

ABSTRACT

We consider a global representation of a regression or classification function by decomposing it into the sum of main and interaction components of arbitrary order. We propose a new identification constraint that allows for the extraction of interventional SHAP values and partial dependence plots, thereby unifying local and global explanations. With our proposed identification, a feature's partial dependence plot corresponds to the main effect term plus the intercept. The interventional SHAP value of feature $k$ is a weighted sum of the main component and all interaction components that include $k$, with the weights given by the reciprocal of the component's dimension. This brings a new perspective to local explanations such as SHAP values which were previously motivated by game theory only. We show that the decomposition can be used to reduce direct and indirect bias by removing all components that include a protected feature. Lastly, we motivate a new measure of feature importance. In principle, our proposed functional decomposition can be applied to any machine learning model, but exact calculation is only feasible for low-dimensional structures or ensembles of those. We provide an algorithm and efficient implementation for gradient-boosted trees (xgboost) and random planted forest. Conducted experiments suggest that our method provides meaningful explanations and reveals interactions of higher orders. The proposed methods are implemented in an R package, available at \url{https://github.com/PlantedML/glex}.

研究の動機と目的

• 局所的（SHAP）およびグローバル的（部分従属）モデル説明を統合し、一貫性のあるフレームワークに統合すること。
• 任意の順序の主効果および相互作用効果を特定する関数的分解を構築し、介入的SHAPおよび部分従属プロットと整合性を持たせること。
• モデルの再適合が不要な後からバイアス低減を実現するため、保護された特徴を含む成分を削除すること。
• xgboost やランダムプラントフォレストなどの低次元またはアンサンブルベースのモデルにおける q-相互作用SHAP値を正確かつ効率的に計算するアルゴリズムを提供すること。
• 分解された成分に基づく、より洗練された特徴の重要性の測定法を新たに導入すること。

提案手法

• モデル関数を任意の順序の主効果および相互作用効果成分に分解する関数的分解を提案する。
• 特徴の部分従属プロットがその主効果項と切片の和に正確に一致するように保証する新たな同定制約を導入する。
• 介入的SHAP値を、特定の特徴を含むすべての成分の重み付き和として導出する。重みは成分の次元の逆数に等しい。
• この分解を用いて、共有される特徴サブセットにのみ依存する観測値固有のグローバルな説明を抽出し、局所的およびグローバルな解釈可能性を両立する。
• 最大相互作用次数 q が小さい場合に、木ベースのモデル（xgboost、ランダムプラントフォレスト）に対して、成分を正確に計算する効率的なアルゴリズムを適用する。
• 保護された特徴を含むすべての成分をゼロにすることで、後から特徴の削除を可能にし、直接効果を除去しながらも、相関する特徴を通じた間接効果を維持する。

実験結果

リサーチクエスチョン

• RQ1 局所的（SHAP）およびグローバル的（部分従属）モデル説明を同時にサポートする統合フレームワークを構築できるか？
• RQ2 関数的分解をどのように制約すれば、部分従属プロットが正確に主効果項と切片の和に一致するようにできるか？
• RQ3 介入的SHAP値を、主効果および相互作用成分の重み付き和として再解釈できるか？重みは成分の次元に基づくべきか？
• RQ4 モデルの再適合なしに、成分の削除によって保護された特徴由来のバイアスをどの程度後から除去できるか？
• RQ5 提案された分解は、標準的手法と比較して、高次相互作用の特定および特徴の重要性評価の洗練化にどの程度寄与するか？

主な発見

• 最大相互作用次数 q が小さい場合、本稿で提案する分解により、木ベースのモデルにおける q-相互作用SHAP値を正確に計算可能となり、正確な局所的およびグローバル的説明が可能になる。
• 提案された同定制約のもとでは、特徴の部分従属プロットが正確にその主効果項と切片の和に等しくなる。
• 特徴 k の介入的SHAP値は、数学的に k を含むすべての主効果および相互作用成分の重み付き和に等しくなる。重みは成分の次元の逆数に等しい。
• 給与予測のシミュレーションでは、性別特徴を成分削除によって後から除去することで、男性と女性の予測ギャップの中央値が 29.79 から 10.57 に減少した。モデルの再適合は、勤務時間と相関していたため効果がなかった。
• adult データセットでは、男性と女性の予測差の中央値が、完全なモデルでは 0.13、分解モデルでは 0.05 に低下し、効果的なバイアス低減が確認された。
• 本手法は高次相互作用を効果的に特定し、単一のグローバル測定値に比べて特徴の重要性に関するより洗練された理解を提供した。