[論文レビュー] Provably efficient, succinct, and precise explanations

Guy Blanc, Jane Lange+1 more|arXiv (Cornell University)|Nov 1, 2021

Explainable Artificial Intelligence (XAI)参考文献 35被引用数 8

ひとこと要約

この論文は、ブラックボックスモデルの予測を説明する要因の集合（証明書）を、サイズと正確性に関する保証を伴いながら、効率的に特定するモデルに依存しないアルゴリズムを提示する。局所的計算と計算複雑性理論的技術を用いて意思決定木の暗黙的学習を実現することで、時間的・クエリ的複雑性が poly(d, C(f), 1/ε, 1/δ) に保証される。ここで C(f) はモデル f の平均証明書複雑度を表す。

ABSTRACT

We consider the problem of explaining the predictions of an arbitrary blackbox model $f$: given query access to $f$ and an instance $x$, output a small set of $x$'s features that in conjunction essentially determines $f(x)$. We design an efficient algorithm with provable guarantees on the succinctness and precision of the explanations that it returns. Prior algorithms were either efficient but lacked such guarantees, or achieved such guarantees but were inefficient. We obtain our algorithm via a connection to the problem of {\sl implicitly} learning decision trees. The implicit nature of this learning task allows for efficient algorithms even when the complexity of $f$ necessitates an intractably large surrogate decision tree. We solve the implicit learning problem by bringing together techniques from learning theory, local computation algorithms, and complexity theory. Our approach of "explaining by implicit learning" shares elements of two previously disparate methods for post-hoc explanations, global and local explanations, and we make the case that it enjoys advantages of both.

研究の動機と目的

• 後処理的説明における既存のヒューリスティック手法に欠ける、サイズと正確性に関する保証を満たす。これらの手法はしばしば大きなまたは不正確な特徴量集合を返す。
• 正確性と簡潔さを保証するが、指数的時間が必要となる従来の正確な手法の非効率性を克服する。
• 効率性と説明品質に関する理論的保証を両立する、モデルに依存しないアルゴリズムを開発する。
• 最小証明書の探索に関する既知の難解性結果を回避するため、暗黙的学習技術を用いる。
• 「暗黙的学習による説明」という新しい枠組みを通じて、局所的およびグローバルな説明手法の長所を統合する。

提案手法

• 説明を証明書として形式化する——つまり、モデルの予測を高い確率で決定する最小特徴量の部分集合を指す。
• ブラックボックスモデル f の複雑度を測る指標として、平均証明書複雑度 C(f) を導入する。
• 局所的計算アルゴリズムと学習理論を用いて、f の意思決定木表現を明示的に構築せずに、暗黙的に学習する。
• ノイズ安定性の性質に基づいて反復的に特徴量を選択することで、精度と簡潔さを保証する証明書探索アルゴリズムを設計する。
• Smythの定理と計算複雑性理論的還元を用いて、意思決定木の複雑度と証明書複雑度の関係を確立する。
• クエリおよび時間的複雑性が、d, C(f), 1/ε, 1/δ に関して多項式的であることを保証し、全意思決定木が指数的サイズである場合でもスケーラブルであるようにする。

実験結果

リサーチクエスチョン

• RQ1 任意のブラックボックスモデルに対して、サイズと正確性に関する保証を伴う効率的アルゴリズムを設計できるか？
• RQ2 モデル f の構造的仮定を必要とせず、意思決定木の明示的構築を伴わずに、このような保証を達成できるか？
• RQ3 意思決定木の暗黙的学習が、効率的かつ正確な後処理的説明を可能にする程度はどの程度か？
• RQ4 局所的計算と計算複雑性理論的技術を用いることで、最小証明書探索の既知の不全性結果を克服できるか？
• RQ5 新たな理論的枠組みを通じて、局所的およびグローバルな説明手法の利点を統合する方法はあるか？

主な発見

• 提案されたアルゴリズムは、一様なランダム入力上で、確率 1−δ 以上で ε 誤差の証明書をサイズ poly(C(f), 1/ε, 1/δ) で返す。
• アルゴリズムの時間的およびクエリ的複雑性は、poly(d, C(f), 1/ε, 1/δ) で上限が保証され、全意思決定木が指数的サイズであっても効率的である。
• Ribeiro らのアンカー法のような既存のヒューリスティクスよりも優れている。これらの手法は、最小証明書サイズが 2 である場合でさえ、サイズ Ω(d) の証明書を返すことがある。
• 明示的な列挙を避ける暗黙的学習により、最小証明書探索に関する既知の難解性結果を回避する。
• 二値特徴量と一様分布の仮定の下で理論的保証が成り立つが、コアフレームワークはより一般的な設定へも拡張可能である。
• 意思決定木の複雑度と証明書複雑度の関係が正式に確立され、C(f) が最小証明書サイズの上界を示していることが示された。