[論文レビュー] Stability theory of game-theoretic group feature explanations for machine learning models

Alexey Miroshnikov, Konstandinos Kotsiopoulos+2 more|arXiv (Cornell University)|Feb 22, 2021

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

本稿は機械学習におけるゲーム理論的コoperativeなグループ説明のための関数解析的枠組みを構築し、条件付きおよび周辺ゲーム値の安定性解析を導入する。提案手法は、両方の説明タイプを統合し、複雑さを低減し、パラメータ化された分割木を介してネストされた分割へ一般化する新しいコoperativeな説明手法を提示する。従来の手法と比較して、安定性と理論的頑健性が向上していることを示している。

ABSTRACT

In this article, we study feature attributions of Machine Learning (ML) models originating from linear game values and coalitional values defined as operators on appropriate functional spaces. The main focus is on random games based on the conditional and marginal expectations. The first part of our work formulates a stability theory for these explanation operators by establishing certain bounds for both marginal and conditional explanations. The differences between the two games are then elucidated, such as showing that the marginal explanations can become discontinuous on some naturally-designed domains, while the conditional explanations remain stable. In the second part of our work, group explanation methodologies are devised based on game values with coalition structure, where the features are grouped based on dependencies. We show analytically that grouping features this way has a stabilizing effect on the marginal operator on both group and individual levels, and allows for the unification of marginal and conditional explanations. Our results are verified in a number of numerical experiments where an information-theoretic measure of dependence is used for grouping.

研究の動機と目的

• 機械学習におけるグループ特徴説明を、数学的厳密性と解釈可能性を保証する関数解析的空間上の作用素として形式化すること。
• データに基づく距離の下で、条件付きおよび周辺ゲーム値の安定性を分析し、周辺説明における不安定性を明らかにすること。
• 構造的分割を用いたコoperativeゲーム値を通じて、条件付きおよび周辺説明を統合し、複雑さを低減するとともに頑健性を向上させること。
• パラメータ化された分割木を用いてネストされた分割へグループ化アプローチを一般化し、再帰的コoperativeゲーム値を可能にすること。
• コoperativeゲーム値の二段階表現を確立し、それらを中間ゲームと基本値に分解することで、理論的および計算上の利点をもたらすこと。

提案手法

• 説明作用素を、モデル関数から特徴寄与度への写像として定式化し、データおよびモデル分布に関して $ L^2 $ 空間上で定義する。
• 条件付きゲームと周辺ゲームを、それぞれ $ \mathbb{E}[f(X)\mid X_S] $ および $ \mathbb{E}[f(x_S,X_{-S})]\big|_{x_S=X_S} $ をもとに定義し、異なるタイプの説明をモデル化する。
• 非協力的ゲームに対応し、安定で解釈可能なグループ説明を可能にするために、拡張されたゲーム値 $ \bar{h} $ および $ \bar{g} $ を提案する。
• コoperativeゲーム値の二段階表現を構築：$ h^{(1)} $, $ h^{(2)} $ および中間ゲーム $ \hat{v}_T $ を定義し、再帰的分解を可能にする。
• ネストされたグループ化をモデル化するためのパラメータ化された分割木 $ \mathcal{T} $ を導入し、階層的コoperativeに定義された説明作用素 $ \bar{u}_{S_j^\alpha} $ を定義する。
• 相互情報量に基づく予測子グループ化を用いて、データ駆動型の分割を構築し、グループ説明の安定性と解釈可能性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 自然なデータベースの距離の下で、条件付きおよび周辺ゲーム値の安定性特性はどのように異なるか？
• RQ2 構造的分割を用いたコoperativeゲーム値は、条件付きおよび周辺説明を統合しつつ、計算複雑度を低減できるか？
• RQ3 階層的分割木に基づく再帰的グループ説明の理論的基盤は何か？
• RQ4 相互情報量による予測子グループ化は、グループ特徴説明の安定性と精度にどのように影響するか？
• RQ5 コoperativeゲーム値の二段階分解とは何か？そして、ネストされた分割へどのように一般化されるか？

主な発見

• 自然な $ L^2(P_X) $-ベースの距離の下で、周辺ゲーム値作用素 $ \bar{\mathcal{E}}^{\text{ME}} $ は不安定であることが示されたが、条件付きゲーム値作用素 $ \bar{\mathcal{E}}^{\text{CE}} $ は有界かつ連続のままである。
• 提案された $ \bar{g} $ を用いたコoperative説明は、条件付きおよび周辺説明を統合し、別個のアプローチと比較して計算複雑度が低減されている。
• コoperativeゲーム値の二段階表現は、任意のこのような値を二つの基本値と中間ゲームの族に分解できることを示し、モジュール式の構築と分析を可能にする。
• パラメータ化された分割木 $ \mathcal{T} $ に従って定義された再帰的コoperative説明は、グループ化アプローチをネストされた分割へ一般化し、階層的解釈を可能にする。
• 予測子の相互情報量に基づくグループ化は、特に高次元設定において、得られる説明作用素の安定性を顕著に向上させる。
• 拡張されたゲーム値 $ \bar{g} $ は、異なる分割においても説明作用素の有界性と連続性を保証し、理論的頑健性を裏付ける。