[論文レビュー] On Computing Relevant Features for Explaining NBCs

Yacine Izza, João Marques‐Silva|arXiv (Cornell University)|Jul 11, 2022

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

本稿では、ナイーブベイズ分類器（NBC）のための要約的で、証明可能に正確な確率的帰納的説明（ApproxPAXp）を計算するための擬多項式動的計画法アルゴリズムを提案する。この手法は、説明サイズの大幅な削減を実現する一方で、最小限の精度損失を許容する。実験の結果、ApproxPAXpの説明は一貫して厳密なAXpの説明よりも短く、しばしばサイズを半分にまで短縮しているが、高い精度（例：95％以上）を維持しており、大規模データセットでさえ2秒未満で実行可能である。

ABSTRACT

Despite the progress observed with model-agnostic explainable AI (XAI), it is the case that model-agnostic XAI can produce incorrect explanations. One alternative are the so-called formal approaches to XAI, that include PI-explanations. Unfortunately, PI-explanations also exhibit important drawbacks, the most visible of which is arguably their size. The computation of relevant features serves to trade off probabilistic precision for the number of features in an explanation. However, even for very simple classifiers, the complexity of computing sets of relevant features is prohibitive. This paper investigates the computation of relevant sets for Naive Bayes Classifiers (NBCs), and shows that, in practice, these are easy to compute. Furthermore, the experiments confirm that succinct sets of relevant features can be obtained with NBCs.

研究の動機と目的

• 高水準なAIアプリケーションにおいて特に深刻な問題となる、形式的・厳密なXAI手法における説明サイズの拡大という根本的制限を是正すること。
• NBCにおける包括的帰納的説明（AXp）の計算が現実的でないことを克服し、スケーラブルな近似手法を導入すること。
• 説明の要約性と強力な確率的精度保証の両立を図り、人間の意思決定に適した方法を開発すること。
• 理論的複雑性にもかかわらず、ナイーブベイズ分類器において近似的な確率的説明（ApproxPAXp）を効率的かつ効果的に計算できることを実証すること。
• 認知的制限（例：ミラーの7±2の法則）を尊重しつつ、精度を損なわずに短く信頼性の高い説明を生成する実用的ソリューションを提供すること。

提案手法

• NBCの確率的帰納的説明（AXp）の計算問題を、制限付き整数プログラミング制約のカウンティングモデルとして形式化する。
• 特徴量の割り当てが特定のクラスを予測する組み合わせ数を計算するための動的計画法ベースのアルゴリズムを提案する。これにより、近似説明の計算が可能になる。
• ApproxPAXpをヒューリスティックな近似として導入し、説明が任意の厳密なAXpより大きくならず、かつ任意の確率的AXpより小さくならないように保証する。
• しきい値に基づく刈り込み戦略を用いて、要約的かつ証明可能に正確な説明を生成し、最小精度（δ）に関する保証を提供する。
• SMTに類似した推論と動的計画法テーブルを組み合わせたプロトタイプを実装し、大規模データセットへの効率的かつスケーラブルな適合を図る。
• 複数のベンチマークデータセットを用いてアルゴリズムを評価し、δとターゲットサイズを変化させることで、精度、サイズ、実行時間のトレードオフを評価する。

実験結果

リサーチクエスチョン

• RQ1 ナイーブベイズ分類器において、近似的な確率的帰納的説明（ApproxPAXp）を、強力な確率的保証を維持したまま、効率的に計算できるか。
• RQ2 ApproxPAXpは、精度の著しい損失なしに、厳密なAXpの説明と比較してどの程度説明サイズを短縮できるか。
• RQ3 実際のデータセットにおいて、提案された動的計画法アプローチは、実行時間とメモリ使用量の観点からどの程度スケーラブルか。
• RQ4 異なるデータセットとしきい値（δ）における、説明長と精度の経験的トレードオフはどのようなものか。
• RQ5 アルゴリズムは、人間ユーザーの認知的容量（例：7±2の特徴量）に収まる説明を生成できるか。その際、高い精度を維持できるか。

主な発見

• ApproxPAXpの説明は、一貫して厳密なAXpの説明よりも短く、例えばターゲットサイズが7の場合、agaricus や mushroom のようなデータセットでは平均で2倍短い。
• ターゲットサイズ ≤7 の場合、すべてのデータセットにおける平均説明長は5.3～5.1であり、7±2の認知的制限に著しく適合している。
• ApproxPAXpの平均精度は、しきい値δを大きく上回っており、adult, vote, threeOf9, xd6, mamo, tumorでは>97%、chess と kr-vs-kp では>95%を達成している。
• 実行時間は実用的に無視できる：すべてのインスタンスで平均0.33秒、最大でも最大データセット（agaricus, mushroom）で2秒未満。
• 精度しきい値を高く設定した場合（δ = 0.98）でも、アルゴリズムはスケーラブルであり、ターゲットサイズ7のagaricusでは平均実行時間が7.22秒である。
• ターゲットサイズ ≤4 の場合、ほとんどのデータセットでサイズ≤4の説明を生成するインスタンスの割合が96～100％に達しており、強い実用的妥当性が示された。