[論文レビュー] Explaining the Predictions of Any Image Classifier via Decision Trees

Sheng Shi, Xinfeng Zhang+1 more|arXiv (Cornell University)|Nov 4, 2019

Explainable Artificial Intelligence (XAI)参考文献 14被引用数 10

ひとこと要約

本稿では、任意の画像分類器の予測を局所的に忠実で解釈可能なモデルで説明するための意思決定木ベースの手法であるTree-LIMEを提案する。Linear-LIMEが線形回帰を用い、非線形な相互作用に苦労するのに対し、Tree-LIMEは複雑な特徴相互作用を捉え、より高い忠実度、より優れた理解可能性、および高速な推論を実現し、深層学習モデルの説明に優れる。

ABSTRACT

Despite outstanding contribution to the significant progress of Artificial Intelligence (AI), deep learning models remain mostly black boxes, which are extremely weak in explainability of the reasoning process and prediction results. Explainability is not only a gateway between AI and society but also a powerful tool to detect flaws in the model and biases in the data. Local Interpretable Model-agnostic Explanation (LIME) is a recent approach that uses an interpretable model to form a local explanation for the individual prediction result. The current implementation of LIME adopts the linear regression as its interpretable function. However, being so restricted and usually over-simplifying the relationships, linear models fail in situations where nonlinear associations and interactions exist among features and prediction results. This paper implements a decision Tree-based LIME approach, which uses a decision tree model to form an interpretable representation that is locally faithful to the original model. Tree-LIME approach can capture nonlinear interactions among features in the data and creates plausible explanations. Various experiments show that the Tree-LIME explanation of multiple black-box models can achieve more reliable performance in terms of understandability, fidelity, and efficiency.

研究の動機と目的

• Linear-LIMEが非線形特徴相互作用や画像分類器の予測における複雑な関係を捉えきれていないという限界を解消すること。
• 局所的忠実度、理解可能性、計算効率を向上させるモデルに依存しない説明手法を開発すること。
• スーパープixelsに基づく表現を用いた意思決定木を用いて、ブラックボックス画像分類器の解釈可能で人間が読みやすい説明を提供すること。
• さまざまな画像分類モデルとデータセットにおいて、Tree-LIMEとLinear-LIMEの性能を比較評価すること。
• 意思決定木が深層学習予測の局所的説明において、線形モデルを上回る忠実度と解釈可能性を実現できることを示すこと。

提案手法

• 分類器の予測の局所的で解釈可能な入力空間を生成するために、スーパープixelsに基づく画像表現を用いる。
• 与えられた入力の周囲の摂動サンプル上で回帰用意思決定木（CART）を学習させ、ブラックボックス分類器の局所的挙動をモデル化する。
• 意思決定木は画像特徴（スーパープixels）と予測確率の間の非線形相互作用を捉え、階層的でルールベースの説明を可能にする。
• 特徴の重要度はジニ不純度の低減によって計算され、各スーパープixelが予測分散に与える寄与度を定量化する。
• 局所的忠実度は、ブラックボックスモデルとTree-LIMEのスラグモデルとの間の予測誤差によって測定される。
• このアプローチはモデルに依存せず、ランダムフォレストやInceptionネットワークを含む任意の事前学習済み画像分類器に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 意思決定木ベースのスラグモデルは、線形モデルに比べて、画像分類器の予測を説明する際の局所的忠実度を向上させられるか？
• RQ2 非線形相互作用をモデル化できる能力のおかげで、Tree-LIMEはLinear-LIMEに比べてより直感的で理解しやすい説明を提供できるか？
• RQ3 説明生成時間の観点から、Tree-LIMEの計算効率はLinear-LIMEに比べてどうか？
• RQ4 線形モデルが表現できない特徴相互作用を、Tree-LIMEはどの程度捉えることができるか？
• RQ5 多様な画像分類タスクにおいて、Tree-LIMEは説明の複雑さを低減させつつ、高い忠実度を維持し、解釈可能性を向上させられるか？

主な発見

• Inceptionモデルの「lamp」クラスにおいて、Tree-LIMEは予測誤差0.0476を達成し、Linear-LIMEの0.1479よりも顕著に低い値を示し、より高い局所的忠実度を示した。
• MNISTデータセットでは、Tree-LIMEが予測誤差0.0を達成し、Linear-LIMEの0.0529を上回り、局所近似における優れた忠実度を示した。
• Tree-LIMEの説明生成は高速であり、Inceptionでの「lamp」クラスでは0.0060秒の実行時間であったのに対し、Linear-LIMEは0.0289秒であった。これにより、効率性の向上が確認された。
• 意思決定木の構造から、MNISTの「seven」を予測する際に特徴0（重要度0.9416）と特徴3（重要度0.0402）が最も影響力が大きかったことが判明し、明確で解釈可能なインサイトが得られた。
• Tree-LIMEは、スーパープixel28、22、30の併存といった非線形相互作用を捉え、それらが「アフリカのアオウミガメ」の予測確率を0.991まで上昇させた。
• 意思決定木の使用により、線形係数に基づく説明よりも直感的で階層的な説明が可能となり、人間が理解しやすくなった。