[論文レビュー] On quantitative aspects of model interpretability

An-phi Nguyen, María Rodríguez Martínez|arXiv (Cornell University)|Jul 15, 2020

Explainable Artificial Intelligence (XAI)参考文献 41被引用数 14

ひとこと要約

本稿では、特徴抽出器と説明可能性モデルに分解することで、モデルの解釈可能性手法を定量的に評価する体系的なフレームワークを提案している。また、単純さ、包括性、忠実度のための指標を導入している。実験を通じて、Integrated Gradients などの手法が包括性と忠実度に優れていることが示され、研究者が特定のタスクに最も適した解釈可能性手法を客観的に選択できるようになった。

ABSTRACT

Despite the growing body of work in interpretable machine learning, it remains unclear how to evaluate different explainability methods without resorting to qualitative assessment and user-studies. While interpretability is an inherently subjective matter, previous works in cognitive science and epistemology have shown that good explanations do possess aspects that can be objectively judged apart from fidelity), such assimplicity and broadness. In this paper we propose a set of metrics to programmatically evaluate interpretability methods along these dimensions. In particular, we argue that the performance of methods along these dimensions can be orthogonally imputed to two conceptual parts, namely the feature extractor and the actual explainability method. We experimentally validate our metrics on different benchmark tasks and show how they can be used to guide a practitioner in the selection of the most appropriate method for the task at hand.

研究の動機と目的

• ユーザースタディ以外のプログラム的で客観的な解釈可能性評価手法の欠如に対処すること。
• 解釈可能性の3つの核心的側面（単純さ、包括性、忠実度）を特定・定量化すること。
• 解釈可能性手法を2つの直交的要素（特徴抽出器と説明可能性モデル）に正式に分離すること。
• 実務家が特定のタスクに最も適した解釈可能性手法を選択できるように、機能的根拠に基づく指標を提供すること。
• 定量的基準を用いて有望な説明手法を事前に選別することで、ユーザースタディの負担を軽減すること。

提案手法

• 本稿では、入力データを解釈可能な表現に変換する特徴抽出器と、その表現から説明を生成する説明可能性モデルに、解釈可能性手法を概念的に分解する。
• 非感受性（微小な入力変更に対してのロバストネス）、事実的正確性（説明の詳細度）、統合度（一般適用性）の3つの解釈可能性次元を定義し、これらが単純さと包括性を定義する。
• 忠実度の評価には、元の特徴と抽出された特徴間の相互情報量を用いて情報保持度を測定し、摂動に基づくテストを導入して説明のロバストネスを評価する。
• モノトニック性や摂動安定性といった指標を適用し、入力変更に対する説明の一般化性能を評価する。特にテキスト分類タスクを対象に評価を実施。
• CNN や LIME、Grad-CAM、Integrated Gradients といったモデルと手法を用いて、ベンチマークデータセット上でフレームワークを検証。異なる説明モダリティ間で指標を計算。
• 特徴抽出器または説明可能性モデルを個別に変更することで、単純さ、包括性、忠実度の各性能を独立して評価可能となる直交的評価が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ユーザースタディに依存せずに、どのようにして解釈可能性を客観的に評価できるか？
• RQ2 単純さ、包括性、忠実度は、モデルの解釈可能性手法においてどの程度定量的に測定可能か？
• RQ3 特徴抽出器と説明可能性モデルは、それぞれ解釈可能性指標にどのように寄与するか？
• RQ4 説明モダリティ（例：属性値、例示）に跨る汎用的でモジュラーな指標を設計できるか？
• RQ5 最先端の手法は、これらの定量的解釈可能性次元において、どのように比較されるか？

主な発見

• Integrated Gradients は、非重要語が多数置き換えられても予測の安定性が高く保たれるなど、優れた包括性を示した。
• 摂動テストの結果、IntGrad は摂動を加えたサンプルの大部分で元のクラス予測を維持しており、説明のロバストで一般化可能な性質を裏付けた。
• 相互情報量指標により、特徴抽出器が忠実度に顕著な影響を与えていることが判明。高い相互情報量は、関連する入力情報の良好な保持を示す。
• 本手法により、IntGrad の説明は包括的かつ正確であり、LIME や Grad-CAM よりも包括性と忠実度で優れていることが特定された。
• 特徴抽出器と説明可能性モデルは、解釈可能性の観点から独立して最適化可能であることが確認され、解釈可能性手法の直交的分解が妥当であることが裏付けられた。
• 提案された指標により、定量的基準に基づく有望な説明手法の事前選別が可能となり、包括的なユーザースタディの必要性が軽減された。