[論文レビュー] A $k$-additive Choquet integral-based approach to approximate the SHAP values for local interpretability in machine learning

Guilherme Dean Pelegrina, Leonardo Tomazeli Duarte+1 more|arXiv (Cornell University)|Nov 3, 2022

Multi-Criteria Decision Making被引用数 4

ひとこと要約

本稿では、k-加法的チョケット積分に基づく手法を提案し、機械学習における局所的モデル解釈性のためのSHAP値を近似する。k-加法的ゲームを活用することで、計算コストを低減する。このアプローチは、正確なSHAP値に高い忠実度を保ちながら、モデル評価回数を削減する。特に3-加法的近似（3_ADD-SHAP）は、正確なSHAP値に近い性能を維持しつつ、計算効率が優れている。

ABSTRACT

Besides accuracy, recent studies on machine learning models have been addressing the question on how the obtained results can be interpreted. Indeed, while complex machine learning models are able to provide very good results in terms of accuracy even in challenging applications, it is difficult to interpret them. Aiming at providing some interpretability for such models, one of the most famous methods, called SHAP, borrows the Shapley value concept from game theory in order to locally explain the predicted outcome of an instance of interest. As the SHAP values calculation needs previous computations on all possible coalitions of attributes, its computational cost can be very high. Therefore, a SHAP-based method called Kernel SHAP adopts an efficient strategy that approximate such values with less computational effort. In this paper, we also address local interpretability in machine learning based on Shapley values. Firstly, we provide a straightforward formulation of a SHAP-based method for local interpretability by using the Choquet integral, which leads to both Shapley values and Shapley interaction indices. Moreover, we also adopt the concept of $k$-additive games from game theory, which contributes to reduce the computational effort when estimating the SHAP values. The obtained results attest that our proposal needs less computations on coalitions of attributes to approximate the SHAP values.

研究の動機と目的

• 複雑な機械学習モデルにおける正確なSHAP値計算の高い計算コストを解消すること。
• 解釈性の質を損なわせることなく、局所的解釈性手法の効率を向上させること。
• 個々の特徴量の寄与度と特徴量間の相互作用効果を両方サポートする、モデルに依存しないアプローチを提供すること。
• チョケット積分フレームワーク内でのk-加法的ゲームの使用により、過剰パラメータ化と計算負荷を低減すること。
• 限られた計算リソースを持つ実世界の応用において、SHAPに類似した説明の実用的導入を可能にすること。

提案手法

• シャープレー値に直接関連するパrameterを有するチョケット積分を用いて局所的解釈性を定式化し、個々の寄与度と相互作用効果の両方を扱えるようにする。
• 考慮すべきコалиション数を制限するためのk-加法的ゲームを導入し、必要なモデル評価回数を削減する。
• 柔軟性と計算効率のバランスを考慮し、3-加法的バージョン（3_ADD-SHAP）を主要な近似戦略として採用する。
• チョケット積分によるSHAPフレームワークの適応により、局所的正確性、欠損値の無視、一貫性といった望ましい性質を維持する。
• k-加法的制約下でコアリションをサンプリングすることでSHAP値を近似し、必要な予測回数を最小限に抑える。
• ゲーム理論的性質を保ちつつ複雑性を低減することで、解釈性の忠実度を確保する。

実験結果

リサーチクエスチョン

• RQ1 チョケット積分は、SHAP値の計算に対して直接的かつ解釈可能なフレームワークとして利用可能か？
• RQ2 k-加法的ゲームの使用が、SHAP近似における必要なモデル評価回数をどのように削減するか？
• RQ3 k-加法的モデルを用いる際の、計算効率と近似精度のトレードオフは何か？
• RQ4 3_ADD-SHAPバージョンは、計算効率と正確なSHAP値への忠実度において、Kernel SHAPに比べてどのように異なるか？
• RQ5 提案手法は、近似の下でも、局所的正確性、一貫性、欠損値の無視といった重要な解釈性の性質を維持できるか？

主な発見

• k-加法的チョケット積分に基づくアプローチは、特に3_ADD-SHAPバージョンにおいて、SHAP値を近似するためのモデル評価回数を顕著に削減する。
• 3_ADD-SHAP手法は、すべての可能なコアリションを使用しない状況でも、正確なSHAP値からの偏差が最小限に抑えられ、高い近似精度を達成する。
• 提案手法は、ゲーム理論的原則に基づいているため、SHAPの望ましい性質（局所的正確性、欠損値の無視、一貫性）を維持する。
• Kernel SHAPと比較して、提案手法は、テストされたシナリオにおいて同等またはより優れた解釈性パフォーマンスを達成するために必要な予測回数が少ない。
• k-加法的定式化により、低評価回数の状況下でも過剰パラメータ化を回避し、説明の安定性と一般化性能が向上する。
• 数値実験により、k-加法性に起因する近似誤差は無視できるほど小さく、特に3_ADD-SHAPでは信頼できる局所的解釈性が保証されることが確認された。