[論文レビュー] Interpretable Deep Learning: Interpretation, Interpretability, Trustworthiness, and Beyond

Xuhong Li, Haoyi Xiong+6 more|arXiv (Cornell University)|Mar 19, 2021

Adversarial Robustness in Machine Learning被引用数 29

ひとこと要約

解釈と解釈可能性の違いを明確にし、解釈アルゴリズムの三次元分類を提案し、信頼性を評価し、解釈と関連トピックおよびオープンソースツールを結びつける、包括的な調査。

ABSTRACT

Deep neural networks have been well-known for their superb handling of various machine learning and artificial intelligence tasks. However, due to their over-parameterized black-box nature, it is often difficult to understand the prediction results of deep models. In recent years, many interpretation tools have been proposed to explain or reveal how deep models make decisions. In this paper, we review this line of research and try to make a comprehensive survey. Specifically, we first introduce and clarify two basic concepts -- interpretations and interpretability -- that people usually get confused about. To address the research efforts in interpretations, we elaborate the designs of a number of interpretation algorithms, from different perspectives, by proposing a new taxonomy. Then, to understand the interpretation results, we also survey the performance metrics for evaluating interpretation algorithms. Further, we summarize the current works in evaluating models' interpretability using "trustworthy" interpretation algorithms. Finally, we review and discuss the connections between deep models' interpretations and other factors, such as adversarial robustness and learning from interpretations, and we introduce several open-source libraries for interpretation algorithms and evaluation approaches.

研究の動機と目的

• 解釈とモデル解釈可能性の違いを明確にする。
• 解釈アルゴリズムの三次元分類法を提案する（表現、モデルタイプ、モデルとの関係）。
• 解釈アルゴリズムの信頼性とモデル解釈可能性の評価手法を検討する。
• 解釈とロバスト性、敵対的例、解釈からの学習などのトピックとの関連を議論する。
• 深層モデルの研究および監査におけるオープンソースライブラリと実用的な影響を紹介する。

提案手法

• 解釈アルゴリズムを分類する三次元分類法を提案する（表現、対象モデルタイプ、モデルとの関係）。
• 局所的/全体的特徴重要度、摂動、勾配、CAM/Grad-CAM、摂動、反事実、プロトタイプ、TCAV など、幅広い解釈手法を調査する。
• 解釈アルゴリズムとモデル解釈可能性の中核基準としての信頼性を定義し、議論する。
• 摂動ベースおよび真理値/専門家アプローチを含む信頼性と解釈可能性の評価手法を分析する。
• 解釈が自己解釗可能モデルや完全に解釈可能なモデル、そしてロバスト性、データ中心の学習、科学的発見などのより広いトピックとどう関連するかを議論する。
• 解釈と評価のための指針を提供し、オープンソースライブラリを挙げる。

実験結果

リサーチクエスチョン

• RQ1 解釈、解釈アルゴリズム、そしてモデル解釈可能性の厳密な関係は何か？
• RQ2 解釈アルゴリズムをどのように分類法で整理して多様なアプローチを網羅できるか？
• RQ3 解釈とモデル解釈可能性の信頼性をどのように定義・測定・保証すべきか？
• RQ4 解釈結果と敵対的ロバスト性やデータ解釈など他の側面との関係は何か？
• RQ5 解釈研究と評価を支援するライブラリとリソースは何が利用できるか？

主な発見

• 本論文は解釈（explanations）とモデル解釈可能性（intrinsic property of a model）の区別を明確にする。
• 解釈アルゴリズムの新しい三次元分類法が提案される：解釈の表現、対象モデルタイプ、そしてモデルとの関係という三つの次元。
• 信頼性は解釈とその評価の中心的な望ましい特性として特定され、測定の課題について議論される。
• 本調査は解釈を敵対的ロバスト性、解釈からの学習、自己解釈可能モデル/完全解釈可能モデルなどの関連トピックにつなぐ。
• 解釈と解釈可能性のためのオープンソースライブラリと評価手法の概要が述べられる。
• 本研究は解釈可能性が人間中心であり、しばしば真の基準が欠如していることを強調し、構造化された評価フレームワークを動機づけている。