[論文レビュー] On Explaining Decision Trees

Yacine Izza, Alexey Ignatiev+1 more|arXiv (Cornell University)|Oct 21, 2020

Explainable Artificial Intelligence (XAI)参考文献 70被引用数 44

ひとこと要約

この論文は、決定木がPI-explanations（subset-minimal feature-value sets）より解釈性が低くなる可能性を示し、単一のPI-explanationを計算する多項式時間の方法と、決定木用 PI-explanation を列挙するヒット集合アプローチを提供する。実験では多くのDT経路が説明重複していることを明らかにした。

ABSTRACT

Decision trees (DTs) epitomize what have become to be known as interpretable machine learning (ML) models. This is informally motivated by paths in DTs being often much smaller than the total number of features. This paper shows that in some settings DTs can hardly be deemed interpretable, with paths in a DT being arbitrarily larger than a PI-explanation, i.e. a subset-minimal set of feature values that entails the prediction. As a result, the paper proposes a novel model for computing PI-explanations of DTs, which enables computing one PI-explanation in polynomial time. Moreover, it is shown that enumeration of PI-explanations can be reduced to the enumeration of minimal hitting sets. Experimental results were obtained on a wide range of publicly available datasets with well-known DT-learning tools, and confirm that in most cases DTs have paths that are proper supersets of PI-explanations.

研究の動機と目的

• いくつかの決定木には最小 PI-explanations よりも大きい、説明重複の経路が含まれていることを示す。
• DT の特定のインスタンスについて、単一の PI-explanation を計算する多項式時間法を導入する。
• DT の PI-explanation 列挙を、最小ヒット集合（MHSes）を用いて定式化する。
• DT 学習ツールに関する実証的証拠として、DT の経路はしばしば最小説明を超えることを示す。

提案手法

• PI-explanations を予測を意味するサブセット最小リテラルとして定義する。
• ある DT の特定のインスタンスについて1つの PI-explanation を計算する多項式時間アルゴリズムを提案する。
• PI-explanation の列挙を最小ヒット集合の列挙へと削減し、反復的な NP-オラクル呼び出し（例：SAT/ILP）で解く。
• 予測を保持することを前提にリテラルをドロップできるかを検証して説明重複を線形時間で判定するアルゴリズムを開発する。
• 経路制限付き PI-explanations と経路制限なし PI-explanations を区別する。
• 説明重複分析のアルゴリズム（Algorithm 1 および Algorithm 2）と、PI-explanations のための subsets hitting sets による列挙の Algorithm 3 ライクなアプローチを提示する。

実験結果

リサーチクエスチョン

• RQ1 決定木の経路は最小 PI-explanations に対して説明が重複していることを提供するか？
• RQ2 DT に対して単一の PI-explanation を効率的（多項式時間で）計算し、ヒット集合を用いてすべての PI-explanations を列挙できるか？
• RQ3 公的データセット全体で、DT の経路には予測を成し遂げるのに必要以上のリテラルが含まれている頻度はどれくらいか？
• RQ4 実務的には経路制限付きと経路制限なし PI-explanations の影響はどのようになるか？

主な発見

• 不可約な DT が PI-explanations のべき集合の正方根超過の経路を含むブール関数が存在し、特徴量の数が増えると差が大きくなる。
• 実証的な結果から、多くの学習された DT は説明重複の経路を有し、しばしば特定の予測には定数サイズの PI-explanation で十分である。
• ある DT の経路から単一の PI-explanation を計算する多項式時間アルゴリズムが存在する。
• PI-explanation の列挙は最小ヒット集合を列挙することに還元できる。著者らは反復的な NP オラクル呼び出しに基づく解法を提案する。
• 実験的には、説明重複はデータセット全体と DT 学習ツール（IAI と ITI）にわたって蔓延しており、PI-explanations を抽出するための実行時間は合理的である。