[論文レビュー] Shape or Texture: Understanding Discriminative Features in CNNs

Amirul Islam, Matthew Kowal+5 more|arXiv (Cornell University)|Jan 27, 2021

Generative Adversarial Networks and Image Synthesis参考文献 31被引用数 15

ひとこと要約

この論文は、自己情報推定とリーダウトモジュールを用いて形状およびテクスチャ固有のニューロンを分離することで、畳み込みニューラルネットワーク（CNNs）がその潜在表現において形状とテクスチャ情報をどのようにエンコードするかを調査している。CNNsは訓練の初期段階で大部分の形状情報を学習し、層全体にわたりエンコードするが、形状ピクセルに意味的ラベルを正しく割り当てるのは最終層に限られ、形状バイアスのあるモデルはテクスチャバイアスのあるモデルよりも形状固有のニューロンに依存していることが判明した。

ABSTRACT

Contrasting the previous evidence that neurons in the later layers of a Convolutional Neural Network (CNN) respond to complex object shapes, recent studies have shown that CNNs actually exhibit a `texture bias': given an image with both texture and shape cues (e.g., a stylized image), a CNN is biased towards predicting the category corresponding to the texture. However, these previous studies conduct experiments on the final classification output of the network, and fail to robustly evaluate the bias contained (i) in the latent representations, and (ii) on a per-pixel level. In this paper, we design a series of experiments that overcome these issues. We do this with the goal of better understanding what type of shape information contained in the network is discriminative, where shape information is encoded, as well as when the network learns about object shape during training. We show that a network learns the majority of overall shape information at the first few epochs of training and that this information is largely encoded in the last few layers of a CNN. Finally, we show that the encoding of shape does not imply the encoding of localized per-pixel semantic information. The experimental results and findings provide a more accurate understanding of the behaviour of current CNNs, thus helping to inform future design choices.

研究の動機と目的

• 分類出力以外の潜在表現において、CNNsが形状情報をどのようにエンコードするかを理解すること。
• 訓練中に形状情報がいつ・どこでエンコードされるか、特にテクスチャバイアスと関連して調査すること。
• CNNsにおける形状エンコードが、グローバルな形状認識にとどまらず、ピクセル単位の意味的理解をサポートするかを特定すること。
• テクスチャバイアスと形状バイアスのあるモデルが、その潜在特徴における形状またはテクスチャ固有のニューロンにどれほど依存しているかを評価すること。

提案手法

• スタイライズドPASCAL VOC画像とCNN特徴マップ間の相互情報推定を用いて、形状およびテクスチャ表現の次元を定量化した。
• グランドトゥースのピクセルレベルラベルを用いて、潜在特徴上でバイナリセグメンテーションおよびセマンティックセグメンテーションを実行するリーダウトモジュール（単一畳み込み層ヘッド）を訓練した。
• 固定されたResNet-50特徴における、形状またはテクスチャと最も相関の高い上位X%のニューロンに限定して、リーダウトモジュールが依存するようにした。
• ImageNet（テクスチャバイアス）とスタイライズドImageNet（形状バイアス）で訓練されたモデルのリーダウトモジュールのパフォーマンスを比較し、形状またはテクスチャニューロンへの依存度を評価した。
• 特徴マップに形状およびテクスチャをエンコードする有効次元数を特定するために次元数推定を適用した。
• バイナリセグメンテーションおよびセマンティックセグメンテーションのmIoUスコアを評価指標として用い、ニューロン選択戦略ごとのパフォーマンスを比較した。

実験結果

リサーチクエスチョン

• RQ1 CNNの潜在表現にどの程度の形状情報がエンコードされており、ネットワークのどの深さでそれが最も顕著か？
• RQ2 CNNにおける形状エンコードはピクセル単位の意味的セグメンテーションをサポートするのか、それともグローバルな形状認識に限定されるのか？
• RQ3 スタイライズドImageNetで訓練された形状バイアスのあるモデル（例：Stylized ImageNet）は、ImageNetで訓練されたテクスチャバイアスのあるモデル（例：ImageNet）よりも、形状固有のニューロンにどれほど依存しているか？
• RQ4 訓練のどの段階でCNNが大部分の形状情報を学習するか？
• RQ5 形状またはテクスチャ固有のニューロンのみを保持した場合、非ターゲットのニューロンを削除すると、セグメンテーションパフォーマンスにどのような影響を与えるか？

主な発見

• CNNsは訓練の最初の数エポック以内に、形状の手がかりを急速に習得するため、大部分の形状情報を早期に学習している。
• 形状情報は複数の層にわたりエンコードされているが、形状ピクセルに正しいカテゴリカル意味的ラベルを割り当てるのは、ネットワークの最終層に限られる。
• ImageNetで事前学習されたモデルは、後段の特徴に十分な形状情報とカテゴリカル情報が含まれており、高いmIoUでバイナリセグメンテーションおよびセマンティックセグメンテーションを実行できる。
• テクスチャ情報を除去すると、ネットワークが形状ピクセルに正しい意味的ラベルを割り当てる能力が著しく損なわれるため、テクスチャが形状認識における干渉要因として顕著である。
• テクスチャバイアスのあるモデル（ImageNetで事前学習）では、テクスチャ固有のニューロンのみを保持した場合にリーダウトモジュールのパフォーマンスが顕著に向上し、テクスチャに依存していることが確認された。
• 形状バイアスのあるモデル（Stylized ImageNetで事前学習）では、形状固有のニューロンのみを保持した場合にパフォーマンスが顕著に向上し、形状特徴に依存していることが確認された。