[論文レビュー] Explainable Artificial Intelligence: Understanding, Visualizing and Interpreting Deep Learning Models

Wojciech Samek, Thomas Wiegand+1 more|arXiv (Cornell University)|Aug 28, 2017

Explainable Artificial Intelligence (XAI)参考文献 31被引用数 1,015

ひとこと要約

本論文は Explainable AI の必要性を検討し、予測説明手法として二つの手法—Sensitivity Analysis (SA) および Layer-Wise Relevance Propagation (LRP)—を提案し、画像・テキスト・動画タスクで評価を行う。LRP は SA よりも情報量が多く、保守性に基づく説明を提供するという主張を展開し、評価手法と今後の方向性について論じる。

ABSTRACT

With the availability of large databases and recent improvements in deep learning methodology, the performance of AI systems is reaching or even exceeding the human level on an increasing number of complex tasks. Impressive examples of this development can be found in domains such as image classification, sentiment analysis, speech understanding or strategic game playing. However, because of their nested non-linear structure, these highly successful machine learning and artificial intelligence models are usually applied in a black box manner, i.e., no information is provided about what exactly makes them arrive at their predictions. Since this lack of transparency can be a major drawback, e.g., in medical applications, the development of methods for visualizing, explaining and interpreting deep learning models has recently attracted increasing attention. This paper summarizes recent developments in this field and makes a plea for more interpretability in artificial intelligence. Furthermore, it presents two approaches to explaining predictions of deep learning models, one method which computes the sensitivity of the prediction with respect to changes in the input and one approach which meaningfully decomposes the decision in terms of the input variables. These methods are evaluated on three classification tasks.

研究の動機と目的

• 安全性が重要で法的にも関連する領域における説明可能なAIの必要性を動機づける。
• 深層学習モデルのための二つの予測説明アプローチ（SAとLRP）を提示する。
• 説明品質を客観的に評価できることを示す。
• 画像・テキスト・動画タスクにおけるSAとLRPの実証的比較を示す。

提案手法

• 予測における入力の重要性をハイライトするヒートマップを生成する説明手法の一般的なワークフローを説明する。
• 局所勾配ベースの重要性指標としてSAを導入する。
• 入力変数全体に対して予測を関連性保全的に分解するLRPを導入する。
• LRPの再分配ルールを説明する。単純ルールと関連性保全を伴うalpha-betaルールを含む。
• 実装の実用のためのLRPツールボックスの利用可能性に言及する。
• LRPのdeep Taylor分解およびReLUネットワークへの関連について議論する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルの予測を入力変数の観点からどのように説明できるか。
• RQ2 SAとLRPは深いモデルに対して質的・量的に異なる説明を生み出すか。
• RQ3 客観的な摂動ベースの評価はどの説明手法がより忠実かを明らかにできるか。
• RQ4 異なるデータモダリティ（画像、テキスト、動画）での説明手法の性能はどうか。

主な発見

• LRP のヒートマップは画像分類において SA のヒートマップよりノイズが少なく、人間の直感とより一致する傾向がある。
• LRP はテキスト分類において正の証拠と負の証拠を区別するが、SA とは異なる。
• 摂動ベースの評価は最も関連する特徴が摂動されたときLRPに基づく説明が予測スコアの減少をより速く引き起こすことを示し、SAよりも説明品質が高いことを示している。
• 動画のアクション認識では、LRPがアクションに関連する実際の動きに対応するフレームや領域を強調する。
• 本論文は、説明可能性が検証、改善、モデルからの学習、および規制遵守のために不可欠であると主張する。