[論文レビュー] Interpreting Deep Visual Representations via Network Dissection

Bolei Zhou, David Bau+2 more|arXiv (Cornell University)|Nov 15, 2017

Explainable Artificial Intelligence (XAI)参考文献 9被引用数 45

ひとこと要約

この論文は、Brodenデータセットに密にアノテートされたデータを用いて、個々の隠れユニットを物体、テクスチャ、色などの意味のある視覚的概念で定量的にラベル付けすることにより、深層畳み込みニューラルネットワークを解釈する手法であるNetwork Dissectionを紹介する。この手法により、ランダムな基底と比較して、深層表現が著しく解釈可能であることが明らかになった。解釈可能性はアーキテクチャ、学習設定、ハイパーパrameterの違いによっても変動する。

ABSTRACT

The success of recent deep convolutional neural networks (CNNs) depends on learning hidden representations that can summarize the important factors of variation behind the data. However, CNNs often criticized as being black boxes that lack interpretability, since they have millions of unexplained model parameters. In this work, we describe Network Dissection, a method that interprets networks by providing labels for the units of their deep visual representations. The proposed method quantifies the interpretability of CNN representations by evaluating the alignment between individual hidden units and a set of visual semantic concepts. By identifying the best alignments, units are given human interpretable labels across a range of objects, parts, scenes, textures, materials, and colors. The method reveals that deep representations are more transparent and interpretable than expected: we find that representations are significantly more interpretable than they would be under a random equivalently powerful basis. We apply the method to interpret and compare the latent representations of various network architectures trained to solve different supervised and self-supervised training tasks. We then examine factors affecting the network interpretability such as the number of the training iterations, regularizations, different initializations, and the network depth and width. Finally we show that the interpreted units can be used to provide explicit explanations of a prediction given by a CNN for an image. Our results highlight that interpretability is an important property of deep neural networks that provides new insights into their hierarchical structure.

研究の動機と目的

• 深層畳み込みニューラルネットワーク内の個々のユニットをスケーラブルかつ定量的に解釈する手法の開発。
• 異なるネットワークアーキテクチャや学習設定における深層視覚表現の解釈可能性を測定・比較すること。
• 教師なし条件下でも、分離可能で意味的意味を持つ表現が深層ネットワークにどのように出現するかを調査すること。
• 学習ダイナミクス、正則化、ネットワークの深さ・幅が学習された特徴の解釈可能性に与える影響を評価すること。
• 解釈可能なユニットを用いて、個々のCNN予測に対する明確で局所的な説明を提供できることを示すこと。

提案手法

• 視覚的意味的概念の定義に、大規模で密にアノテートされたデータセット（Broden）を用いる。
• Brodenにおける概念マスクとユニットの活性マップの間のオーバーラップ率（IoU）を用いて、ユニットの解釈可能性を定量化する。
• 特定の概念に選択的に反応するユニットを特定するために、しきい値τを適用し、よりきついしきい値ではより細分化された選択性が明らかになる。
• すべてのBrodenの概念に対して最大IoUを示す概念を、各ユニットの対応する概念として特定する。
• ユニットの活性マップを可視化し、それらを正例の概念マスクと重ね合わせることで、整合性を検証する。
• 解釈可能なユニットを用いて、予測に寄与する概念を強調することで、個々の予測を説明するサリエンシー・マップを生成する。

実験結果

リサーチクエスチョン

• RQ1 深層CNNの個々の隠れユニットは、物体、テクスチャ、色といった解釈可能な視覚的概念とどの程度対応しているか？
• RQ2 異なるネットワークアーキテクチャ（例：AlexNet、ResNet）や学習タスク（例：ImageNet、Places）において、深層表現の解釈可能性はどのように変化するか？
• RQ3 正則化パラメータ（例：重み減衰、ドロップアウト、バッチ正則化）や学習の深さ・幅といった学習ハイパーパrameterが、解釈可能なユニットの出現に与える影響は何か？
• RQ4 解釈可能なユニットを用いて、忠実で局所的な個々のCNN予測の説明を生成できるか？
• RQ5 解釈可能性は深層表現の本質的性質であるのか、それともデータや最適化の選択に敏感であるのか？

主な発見

• Network Dissectionは、複数のアーキテクチャにわたり、解釈可能なユニットを効果的に同定できており、『馬』『絵画』『人物』『川』といった特定の概念を検出するユニットが存在する。
• 解釈可能性は軸に沿った性質である：特徴空間を回転させると解釈可能性は消失するが、分類精度には影響しない。
• きついしきい値（τ = 0.005）では、細分化された概念の選択性が明らかになり、緩いしきい値では『茶色の色』や『テクスチャ』といった一般的な概念が現れる。
• ドロップアウトやバッチ正則化などの正則化手法は、解釈可能なユニットの数を減少させることが示され、耐性と解釈可能性のトレードオフが存在する。
• 中間層に最も解釈可能なユニットが多く存在し、より深い層ではタスク固有で、意味的に一般化されにくい検出器が多い。
• 解釈可能なユニットを用いて、予測の局所的で概念ベースの説明を生成でき、正しい予測は関連する検出器によって説明され、誤分類は誤ったまたは不適切な検出器の活性化によって説明される。