[論文レビュー] Network Dissection: Quantifying Interpretability of Deep Visual Representations

David Bau, Bolei Zhou+3 more|arXiv (Cornell University)|Apr 19, 2017

Cell Image Analysis Techniques被引用数 7

ひとこと要約

この論文は、畳み込みニューラルネットワーク（CNN）の解釈可能性を、個々の隠れユニットが人間が解釈可能な視覚的概念とどれだけ整合するかを測定することで定量化するフレームワーク「Network Dissection」を導入する。解釈可能性は軸に沿った性質であり、学習目的、アーキテクチャの選択、正規化手法によって向上させられ、分類精度以上の意味を持つ影響を及ぼすことが明らかになった。

ABSTRACT

We propose a general framework called Network Dissection for quantifying the interpretability of latent representations of CNNs by evaluating the alignment between individual hidden units and a set of semantic concepts. Given any CNN model, the proposed method draws on a broad data set of visual concepts to score the semantics of hidden units at each intermediate convolutional layer. The units with semantics are given labels across a range of objects, parts, scenes, textures, materials, and colors. We use the proposed method to test the hypothesis that interpretability of units is equivalent to random linear combinations of units, then we apply our method to compare the latent representations of various networks when trained to solve different supervised and self-supervised training tasks. We further analyze the effect of training iterations, compare networks trained with different initializations, examine the impact of network depth and width, and measure the effect of dropout and batch normalization on the interpretability of deep visual representations. We demonstrate that the proposed method can shed light on characteristics of CNN models and training methods that go beyond measurements of their discriminative power.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）における深層視覚表現の解釈可能性を定量化する一般化されたフレームワークの開発。
• 解釈可能な隠れユニットが意味的な分離可能な表現を反映しているのか、あるいは特徴空間の整列の副産物にすぎないのかの調査。
• 学習手法、ネットワークアーキテクチャ、最適化手法が解釈可能なユニットの出現に与える影響の検討。
• 解釈可能性が識別性能と相関しているのか、それとも独立しているのかの評価。
• 深さ、幅、バッチ正規化、ドロップアウト、学習データが解釈可能な表現の形成に果たす役割の分析。

提案手法

• 本手法は、視覚的概念を大規模かつ密にアノテーションしたデータセットBrodenを用い、CNNの各層における隠れユニットをラベルづける。
• 各隠れユニットについて、Broden画像内の活性化応答を計算し、最大活性化または線形プローブを用いて最も相関の高い意味的コンセプトを同定する。
• ユニットの活性化パターンと意味的コンセプトとの整合性を測定することで解釈可能性を定量化し、コンセプト固有の活性化スコアを用いる。
• フレームワークは任意の事前学習済みCNNに適用可能で、すべての中間畳み込み層のユニットを評価する。
• 下流タスクにおける解釈可能なユニットの有効性を検証するために、線形SVMと転移学習を用いる。
• 特徴空間を回転させることでロバストネスをテストし、解釈可能性が回転によって消失することを示し、それが軸依存性であることを確認する。

実験結果

リサーチクエスチョン

• RQ1 CNNにおける解釈可能性は、意味的な分離可能な表現の結果なのか、あるいは特徴空間の方向性に起因する副産物なのか？
• RQ2 教師あり学習と自己教師学習の異なる学習目的が、解釈可能なユニットの出現に与える影響は？
• RQ3 深さ、幅、バッチ正規化、ドロップアウトなどのアーキテクチャ的選択が解釈可能性に与える影響は？
• RQ4 解釈可能な検出器の数は、下流の分類性能と相関しているか？
• RQ5 解釈可能性は識別精度とは独立して定量化・測定可能か？

主な発見

• CNNにおける解釈可能なユニットはランダムではなく、物体、部分、テクスチャ、シーンといった特定の意味的コンセプトに対応している。
• 解釈可能性は軸に沿った性質である：特徴空間を回転させると解釈可能性は消失するが、分類精度には影響しない。
• ImageNetと同等の精度を達成しているにもかかわらず、Places365で学習したネットワークは、ImageNetで学習したネットワークよりも多くの固有の物体検出器を有している。
• AlexNetの最終畳み込み層（conv5）を太くすると、固有の検出器の数と合計の検出器ユニット数が増加するが、1024ユニットを超えると収束する。
• ImageNetで事前学習したResNet152は、Places365で事前学習したResNet152よりも固有の検出器が少ないにもかかわらず、action40行動認識タスクでより高い精度を達成しており、コンセプトの適合性が数よりも重要であることを示唆している。
• 最後の畳み込み層における固有の物体検出器の数と下流の分類精度の間に正の相関があるが、関係は厳密な単調性ではない。