[論文レビュー] Nothing Else Matters: Model-Agnostic Explanations By Identifying Prediction Invariance

Marco Túlio Ribeiro, Sameer Singh+1 more|arXiv (Cornell University)|Nov 17, 2016

Explainable Artificial Intelligence (XAI)参考文献 8被引用数 62

ひとこと要約

この論文は、予測不変性を示す特徴量の部分集合を同定する、局所的でルールベースの説明（アンカー）を生成するモデルに依存しない手法aLIMEを紹介する。aLIMEは、Hoeffdingの不等式を用いたグリーディでサンプリングに基づくアルゴリズムにより、明確なカバレッジ境界を有する高精度で解釈可能な説明を達成し、テキスト、画像、視覚的質問応答の分野において、シミュレーションおよび実世界のタスクで線形LIMEを上回る性能を発揮する。

ABSTRACT

At the core of interpretable machine learning is the question of whether humans are able to make accurate predictions about a model's behavior. Assumed in this question are three properties of the interpretable output: coverage, precision, and effort. Coverage refers to how often humans think they can predict the model's behavior, precision to how accurate humans are in those predictions, and effort is either the up-front effort required in interpreting the model, or the effort required to make predictions about a model's behavior. In this work, we propose anchor-LIME (aLIME), a model-agnostic technique that produces high-precision rule-based explanations for which the coverage boundaries are very clear. We compare aLIME to linear LIME with simulated experiments, and demonstrate the flexibility of aLIME with qualitative examples from a variety of domains and tasks.

研究の動機と目的

• 既存のモデルに依存しない説明手法（例：LIME）における明確なカバレッジと高精度の欠如に対処すること。
• 人間が簡単に理解・適用できる直感的でルールベースの説明を生成する手法を開発すること。
• 予測不変性を通じて、適用範囲の明確な境界を有する高精度な説明を保証すること。
• PACフレームワークを用いて、短く高精度なアンカーを最適化することで、カバレッジ、精度、作業負荷のバランスを取ること。
• 本手法の有効性を、テキスト、画像、視覚的質問応答を含む多様な分野で示すこと。

提案手法

• aLIMEは、モデルの予測が不変となるような特徴量の制約を同定するIF-THENルールとしてアンカーを生成する。
• 精度を最大化する制約を選択するためのグリーディな探索を採用し、アンカーの下で条件付けられたデータ分布からのモンテカルロサンプリングにより精度を推定する。
• Hoeffdingの不等式を適用して、推定された精度がユーザーが定めた誤差マージン（1−ε）内にあり、高い確率で保証されるようにする。
• 現在のアンカーの精度が1−εを超えると、アルゴリズムは停止し、高い信頼性が保証される。
• インスタンスxに条件付けられたデータ分布𝒟(z|c,x)を用いることで、文脈に応じたサンプリングを可能にし、関連性を向上させる。
• 可能なアンカーの空間を効率的に探索するため、部分集合最適化（Submodular Pick）を用いる。

実験結果

リサーチクエスチョン

• RQ1 明確で解釈可能なカバレッジ境界を有するモデルに依存しない説明を生成できるか？
• RQ2 人間の解釈に低負荷を保ちつつ、説明の高精度を確保できるか？
• RQ3 他の特徴量の変更に対してモデルの予測が不変となるような特徴量の部分集合をどのように同定できるか？
• RQ4 ルールベースの説明は、線形近似に比べて人間の解釈可能性と精度の面で優れているか？
• RQ5 アンカーは、表形式データ、テキスト、画像、視覚的質問応答など多様なモodalitiesでどのように性能を発揮するか？

主な発見

• aLIMEは高精度なアンカーを生成する：画像分類および視覚的質問応答タスクでは95％以上。
• ゼブラの画像分類タスクでは、グレーアウトされたスーパーピクセルをランダムな画像に置き換えても、アンカーが予測不変性を維持した。
• 視覚的質問応答では、モデルのバイアスがアンカーによって明らかになった。例えば、質問に'What'が含まれると95％の確率で'banana'と予測され、誤った推論が示された。
• 品詞タグ付けのタスクでは、アンカーが文法的パターンを正しく捉えており、例えば『pronoun』に続く『play』が動詞として識別された。
• aLIMEは、シミュレーション実験において線形LIMEを上回り、より高い精度と明確な適用条件を示した。
• 本手法は、病院再入院予測やテキスト分類を含む多様な分野で、短く解釈可能なルールを用いて、強固な性能を発揮した。