[論文レビュー] Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)

Been Kim, Martin Wattenberg+5 more|arXiv (Cornell University)|Nov 30, 2017

Explainable Artificial Intelligence (XAI)参考文献 32被引用数 476

ひとこと要約

TCAV は Concept Activation Vectors を導入し、ユーザー定義の高レベル概念がモデル予測にどのように影響するかを定量化し、再学習なしでグローバルな概念ベースの解釈を可能にします。方向微分と統計的検定を組み合わせて、クラス間の概念感度を評価します。

ABSTRACT

The interpretation of deep learning models is a challenge due to their size, complexity, and often opaque internal state. In addition, many systems, such as image classifiers, operate on low-level features rather than high-level concepts. To address these challenges, we introduce Concept Activation Vectors (CAVs), which provide an interpretation of a neural net's internal state in terms of human-friendly concepts. The key idea is to view the high-dimensional internal state of a neural net as an aid, not an obstacle. We show how to use CAVs as part of a technique, Testing with CAVs (TCAV), that uses directional derivatives to quantify the degree to which a user-defined concept is important to a classification result--for example, how sensitive a prediction of "zebra" is to the presence of stripes. Using the domain of image classification as a testing ground, we describe how CAVs may be used to explore hypotheses and generate insights for a standard image classification network as well as a medical application.

研究の動機と目的

• ニューラルネットワークを高レベル概念の観点で人間にも分かる解釈を提供する。
• 訓練データのラベルを超えて、ユーザー提供の例によって概念をカスタマイズできるようにする。
• 再学習やモデルの変更を必要としないプラグイン型の解釈可能性手法を提供する。
• 概念のグローバルな重要性をクラス間で定量的にモデル予測に対して評価する。

提案手法

• 概念を、ユーザーが提供する例の入力の集合として定義する。
• 概念の例の層アクティベーションをランダムなネガティブと分離する線形分類器を訓練して、Concept Activation Vector (CAV) を得る。
• CAV 方向に沿ってアクティベーションを投影して概念的感度を計算し、クラスロジットへの影響を測る。
• TCAVスコアを、方向微分が正となるクラス-k の入力の割合として定義し、グローバルな解釈可能性指標を得る。
• 異なるランダムネガティブで繰り返し CAV を訓練し、Bonferroni補正を用いた両側 t 検定を実施して概念を検証する、統計的有意性検定を行う。
• 学習された部分空間に沿って関連する概念を比較する Relative TCAV に TCAV を拡張する。

実験結果

リサーチクエスチョン

• RQ1 高レベルで人間に解釈可能な概念を、ニューラルネットワークの内部活性化空間内でどのように表現できるか？
• RQ2 モデルを再学習せずに、ユーザー定義の概念がモデル予測に与える影響を定量化できるか？
• RQ3 TCAV はデータクラス全体で安定し統計的に有意な概念重要度の尺度を提供するか？
• RQ4 ネットワークのどの層で概念が学習され、予測への影響とどのように関連するか？
• RQ5 TCAV は標準的なネットワークにおけるバイアスや望ましくない感度（例：性別や人種）を明らかにできるか？

主な発見

• CAV は定性的なソートやアクティベーション最大化の視覚化によって意図した概念と一致する。
• TCAV スコアは層を超えて概念の影響を示し、ロジットに近い層ほど予測への直接的な影響が強い。
• 統計的検定により誤検知的な CAV が除外され、堅牢な概念検出結果となる。
• Relative CAV により関連概念の細かな比較が可能になる。
• 厳密なグラウンドトゥルース実験で、TCAV はネットワークが用いた真の概念を密接に追跡し、場合によってはサリエンシー図よりも優れている。
• 医療 DR タスクに適用すると、TCAV は診断的に関連する概念を特定し、領域専門家の期待との乖離を強調する。