[論文レビュー] Efficient Explanations With Relevant Sets

Yacine Izza, Alexey Ignatiev+3 more|arXiv (Cornell University)|Jun 1, 2021

Explainable Artificial Intelligence (XAI)参考文献 39被引用数 5

ひとこと要約

本稿では、決定木および知識編集ベースのモデルにおける部分集合最小の $\delta$-関連集合を用いた確率的説明の効率的計算を提案し、MaxSMTおよび双対性技術を用いてそのような集合が多項式時間で計算可能であることを示している。この手法は実行時間、説明のサイズ、正確性の面でAnchorを上回り、既存のヒューリスティック的および非ヒューリスティック的説明手法に対する実用的でスケーラブルな代替手法を提供する。

ABSTRACT

Recent work proposed $δ$-relevant inputs (or sets) as a probabilistic explanation for the predictions made by a classifier on a given input. $δ$-relevant sets are significant because they serve to relate (model-agnostic) Anchors with (model-accurate) PI- explanations, among other explanation approaches. Unfortunately, the computation of smallest size $δ$-relevant sets is complete for ${NP}^{PP}$, rendering their computation largely infeasible in practice. This paper investigates solutions for tackling the practical limitations of $δ$-relevant sets. First, the paper alternatively considers the computation of subset-minimal sets. Second, the paper studies concrete families of classifiers, including decision trees among others. For these cases, the paper shows that the computation of subset-minimal $δ$-relevant sets is in NP, and can be solved with a polynomial number of calls to an NP oracle. The experimental evaluation compares the proposed approach with heuristic explainers for the concrete case of the classifiers studied in the paper, and confirms the advantage of the proposed solution over the state of the art.

研究の動機と目的

• 最小 $\delta$-関連集合を計算する際の高い計算複雑性に対処すること。これは $\mathrm{N}^{\Pi^P}$ 完全とされ、実用上は非現実的である。
• 特定のモデルクラスにおいて、効率的な部分集合最小の説明計算を可能にする、$\delta$-関連集合の緩い定義を検討すること。
• 決定木および知識編集モデルにおいて、部分集合最小の $\delta$-関連集合が多項式時間で計算可能であることを示すこと。
• 本手法の実験的評価を通じて、実行速度、説明のサイズ、正確性の観点から最先端のAnchor説明手法と比較すること。

提案手法

• 決定木および知識編集モデルにおいて、部分集合最小の説明の多項式時間計算を可能にする、$\delta$-関連集合の緩い定義を提案する。
• MaxSMTソルバを用いて、決定木における基数最小の $\delta$-関連集合を計算し、決定問題がNPに属することを活用する。
• 説明理論からの双対性原理を応用し、さまざまな種類の $\delta$-関連集合の列挙と推論を行う。
• MaxSMTおよびモデル検査技術を用いて、部分集合最小の $\delta$-関連集合を効率的に計算するプロトタイプの説明者、idrs を採用する。
• 形式的厳密性とスケーラビリティを維持しながら、確率的保証を伴う説明を計算するフレームワークを導入する。

実験結果

リサーチクエスチョン

• RQ1 決定木において、部分集合最小の $\delta$-関連集合は効率的に計算可能か？
• RQ2 $\delta$-関連集合の緩い定義は、特定のモデルクラスにおいて多項式時間計算を可能にするか？
• RQ3 説明理論からの双対性結果は、$\delta$-関連集合の効率的列挙に拡張可能か？
• RQ4 本手法の性能は、実行時間、説明のサイズ、正確性の観点でAnchorと比較してどうか？

主な発見

• 提案手法は、平均して1インスタンスあたり1秒未塔で部分集合最小の $\delta$-関連集合を計算でき、最大1.0秒に留まる。これは、Anchorの平均10秒、ピーク138秒に比べ顕著に優れている。
• 説明のサイズは著しく削減された：$\delta = 0.01, 0.02, 0.05$ では平均長が5未塔に低下したが、Anchorでは平均9.0の特徴量を要していた。
• $\delta = 0$ の場合、$I\delta$-関連集合は100％の正確性を達成し、$\delta = 0.05$ でも平均正確性が0.69に留まり、Anchorの正確性を上回るか同等である。
• 提案手法の実行時間は$\delta$値に依存せず、全テスト済み$\delta$レベルにおいて無視できる程度に保たれる。
• 大規模な決定木に対してもスケーラブルであり、最大4,368インスタンスを含むデータセットに対しても、説明時間は1秒未塔に留まる。