[論文レビュー] bLIMEy: Surrogate Prediction Explanations Beyond LIME

Kacper Sokol, Alexander Hepburn+2 more|arXiv (Cornell University)|Oct 29, 2019

Explainable Artificial Intelligence (XAI)参考文献 12被引用数 11

ひとこと要約

この論文では、説明プロセスを独立して相互に交換可能なコンponentに分解することにより、ブラックボックス機械学習モデルのためのカスタムの補助解釈器を構築できるモジュラーでオープンソースのフレームワーク、bLIMEy を紹介する。解釈可能な表現、サンプリング、補助モデルの構築を分離することで、bLIMEy は特定のデータタイプやタスクに適合した解釈器を設計可能にし、モノリシックなツール（例：LIME）を超えて、説明の質と安定性を向上させる。このフレームワークは、表形式、画像、テキストデータをサポートする。

ABSTRACT

Surrogate explainers of black-box machine learning predictions are of paramount importance in the field of eXplainable Artificial Intelligence since they can be applied to any type of data (images, text and tabular), are model-agnostic and are post-hoc (i.e., can be retrofitted). The Local Interpretable Model-agnostic Explanations (LIME) algorithm is often mistakenly unified with a more general framework of surrogate explainers, which may lead to a belief that it is the solution to surrogate explainability. In this paper we empower the community to "build LIME yourself" (bLIMEy) by proposing a principled algorithmic framework for building custom local surrogate explainers of black-box model predictions, including LIME itself. To this end, we demonstrate how to decompose the surrogate explainers family into algorithmically independent and interoperable modules and discuss the influence of these component choices on the functional capabilities of the resulting explainer, using the example of LIME.

研究の動機と目的

• モノリシックで設定不可な補助解釈器（例：LIME）の制限を解消し、カスタマイズ性を制限し、不安定性に起因する問題を抱えること。
• 原理的でモジュラーなフレームワークを提供し、補助解釈を独立して相互運用可能なコンponentに分解することで、柔軟性と制御性を向上させる。
• アルゴリズム的選択を明示し、その影響を理解可能にすることで、ユーザーがタスク固有の解釈器を構築できるようにする。
• LIMEに知られている問題（例：不安定性、局所性の欠如）を、改善された設計選択による再実装によって体系的に対処する。
• パッチ・ライセンスで提供されるオープンソースで再利用可能なコンponentを提供することで、補助解釈器の広範な採用を促進する。

提案手法

• 補助解釈を3つのコアモジュールに分解する：解釈可能な表現、データサンプリング、補助モデルの学習。
• 元のデータから解釈可能なバイナリーベクトル（例：スーパーピクセル、Bag-of-Words、離散化された数値特徴）への双方向変換を導入する。
• サンプリングによる摂動を元のデータポイントと解釈可能な空間で比較することで、局所性を保持するXNORベースの特徴変換を採用する。
• 線形モデルによる特徴重要度の算出、および論理的条件に基づく説明に適した意思決定木を含む、複数の補助モデルをサポートする。
• サンプリング戦略（例：局所的 vs. 全体的）および表現手法のモジュラー選択を可能にし、トレードオフとベストプラクティスについて明確なガイダンスを提供する。
• Python実装をBSD 3-Clauseライセンスで提供し、カスタム解釈器の構成に役立つ包括的な「ハウツー」ガイドを備える。

実験結果

リサーチクエスチョン

• RQ1 補助解釈フレームワークをどのようにモジュラー化することで、カスタマイズ可能でタスク固有の設計選択を可能にすることができるか？
• RQ2 異なるコンponent選択（例：サンプリング法、表現、補助モデル）が補助解釈器に与える機能的および安定性への影響は何か？
• RQ3 LIMEに知られている問題（例：不安定性、局所性の欠如）を、アーキテクチャの分解とコンponentの再構成によって体系的に是正できるか？
• RQ4 モノリシックなツールに依存せず、補助解釈パイプライン全体で、情報に基づいた原理的選択を行うにはどうすればよいか？
• RQ5 モジュラーなフレームワークは、多様なデータタイプにおいて、説明の忠実性、安定性、解釈可能性をどの程度向上させられるか？

主な発見

• bLIMEy フレームワークは、補助解釈を3つの独立的かつ相互運用可能なモジュール（解釈可能な表現、サンプリング、補助モデル）に成功して分解した。
• フレームワークは、表形式、画像、テキストデータのLIMEの再実装を可能にするとともに、適切なXNORベースの特徴変換を強制することで、不安定性や局所性の欠如といった既知の問題を緩和する。
• 適切な正規化と解釈可能な表現は、線形補助モデルにおける意味のある特徴重要度の算出に不可欠である。それらがなければ、重みは比較不能となり、説明は情報量がなくなる。
• 線形モデルの代わりに補助意思決定木を使用することで、論理的条件に基づく説明が可能となり、『なぜクラスAではなくBなのか？』といった質問に適している。
• モジュラーな設計により、ユーザーは説明のタイプ（例：特徴重要度 vs. 論理的ルール）に応じてコンponentを選択可能となり、問題の文脈に適合した解釈器をカスタマイズできる。
• BSD 3-Clauseライセンスでのオープンソース実装により、商業利用が可能であり、タスク固有の解釈器のコミュニティ主導の開発が促進される。