[論文レビュー] Interpretable Deep Learning: Interpretations, Interpretability, Trustworthiness, and Beyond.

Xuhong Li, Haoyi Xiong+6 more|arXiv (Cornell University)|Mar 19, 2021

Explainable Artificial Intelligence (XAI)参考文献 137被引用数 4

ひとこと要約

この論文は、解釈可能性の核心的概念（解釈と解釈可能性）を明確にし、解釈アルゴリズムのための新しい分類法を提案し、その性能と信頼性を評価することで、解釈可能なディープラーニングに関する包括的なサーベイを提供する。さらに、敵対的ロバストネスおよびデータ増強との関連性を検討し、実装を支援するオープンソースツールを提供する。

ABSTRACT

Deep neural networks have been well-known for their superb performance in handling various machine learning and artificial intelligence tasks. However, due to their over-parameterized black-box nature, it is often difficult to understand the prediction results of deep models. In recent years, many interpretation tools have been proposed to explain or reveal the ways that deep models make decisions. In this paper, we review this line of research and try to make a comprehensive survey. Specifically, we introduce and clarify two basic concepts-interpretations and interpretability-that people usually get confused. First of all, to address the research efforts in interpretations, we elaborate the design of several recent interpretation algorithms, from different perspectives, through proposing a new taxonomy. Then, to understand the results of interpretation, we also survey the performance metrics for evaluating interpretation algorithms. Further, we summarize the existing work in evaluating models' interpretability using trustworthy interpretation algorithms. Finally, we review and discuss the connections between deep models' interpretations and other factors, such as adversarial robustness and data augmentations, and we introduce several open-source libraries for interpretation algorithms and evaluation approaches.

研究の動機と目的

• ディープラーニングにおけるしばしば混同される「解釈」と「解釈可能性」の違いを明確にすること。
• 設計原理と目的に基づいて、最近の解釈アルゴリズムを体系的に分類するための分類法を提供すること。
• 解釈アルゴリズムの評価に用いられる性能メトリクスをサーベイおよび評価すること。
• 信頼性のある解釈手法がモデルの解釈可能性と信頼性をどのように向上させられるかを検討すること。
• モデルの解釈、敵対的ロバストネス、およびデータ増強技術との相互作用を調査すること。

提案手法

• 解釈アルゴリズムの基礎的メカニズムと目的に基づき、分類を整理する新しい分類法を提案する。
• サリエンシーマップ、注目可視化、コンセプトアクティベーションなどのさまざまな解釈技術を、複数の視点からレビューおよび分類する。
• 忠実度、安定性、忠実度（fidelity）などの標準化された性能メトリクスを用いて、解釈アルゴリズムを評価する。
• 信頼性のある解釈の役割が、モデルの透明性とユーザーの信頼を向上させる仕組みを分析する。
• 敵対的例とデータ増強が、解釈品質とモデル行動に与える影響を検討する。
• 実装および評価の支援を目的としたオープンソースライブラリを推奨および文書化する。

実験結果

リサーチクエスチョン

• RQ1 「解釈」と「解釈可能性」の概念はどのように異なり、なぜディープラーニングにおいてこの区別が重要なのか？
• RQ2 現代の解釈アルゴリズムの主な設計原理とカテゴリは何か。また、それらを体系的に分類する方法は？
• RQ3 解釈手法の品質と信頼性を評価する際に最も効果的なメトリクスは何か？
• RQ4 信頼性のある解釈アルゴリズムは、どのようにしてディープモデルの解釈可能性と信頼性を向上させられるか？
• RQ5 モデルの解釈と、敵対的ロバストネスやデータ増強などの要因との関係は何か？

主な発見

• 「解釈」（モデルに特化した説明）と「解釈可能性」（モデルの本質的説明可能性）の区別は、厳密な評価において極めて重要である。
• 解釈アルゴリズムのための新しい分類法により、異なる設計目的を持つ多様な手法の理解と比較が明確に可能になる。
• 忠実度、安定性、忠実度（fidelity）は、解釈出力の品質を評価するための重要なメトリクスである。
• 信頼性のある解釈手法は、実世界の応用においてユーザーの信頼とモデルの信頼性を顕著に向上させる。
• 敵対的ロバストネスとデータ増強は、解釈結果の整合性と信頼性に影響を与える可能性がある。
• 解釈技術の実装および評価を支援する複数のオープンソースライブラリが利用可能である。