[論文レビュー] How is Contrast Encoded in Deep Neural Networks?

Arash Akbarinia, Karl R. Gegenfurtner|arXiv (Cornell University)|Sep 5, 2018

Advanced Neural Network Applications参考文献 12被引用数 5

ひとこと要約

この論文は、入力コントラストレベルの変化に伴う畳み込み層におけるカーネル活性化パターンの分析を通じて、深層ニューラルネットワークがどのようにコントラスト不変性を達成するかを調査している。複数の畳み込み層が最初のマックスプーリングの前に行われるネットワーク—例えばVGGやInception—は、コントラストの変動を最後のそのような層が吸収することで、その影響が上位層に伝搬されないようにすることで、強靭性を達成しており、生物学的視覚処理メカニズムに類似している。

ABSTRACT

Contrast is a crucial factor in visual information processing. It is desired for a visual system - irrespective of being biological or artificial - to "perceive" the world robustly under large potential changes in illumination. In this work, we studied the responses of deep neural networks (DNN) to identical images at different levels of contrast. We analysed the activation of kernels in the convolutional layers of eight prominent networks with distinct architectures (e.g. VGG and Inception). The results of our experiments indicate that those networks with a higher tolerance to alteration of contrast have more than one convolutional layer prior to the first max-pooling operator. It appears that the last convolutional layer before the first max-pooling acts as a mitigator of contrast variation in input images. In our investigation, interestingly, we observed many similarities between the mechanisms of these DNNs and biological visual systems. These comparisons allow us to understand more profoundly the underlying mechanisms of a visual system that is grounded on the basis of "data-analysis".

研究の動機と目的

• 変動する照明条件下での深層ニューラルネットワーク（DNN）がコントラスト不変性を達成するメカニズムを理解すること。
• 特に、マックスプーリングの前における畳み込み層の数が、コントラストの耐性に与える影響を調査すること。
• DNNがコントラスト変動に対処する際の生物学的視覚システムとの挙動を比較すること。
• 入力画像のコントラスト変化を軽減する主な層を特定すること。

提案手法

• 本研究では、ImageNetの検証セット上で、VGG や Inception を含む8つの代表的なDNNアーキテクチャを分析した。
• 各ネットワークに対して、同じ入力画像を100％から5％まで11段階のコントラストレベルでテストした。
• 最初の5つの畳み込み層の各空間位置で、最も活性化されたカーネルを、コントラストレベルごとに記録した。
• 各層において、コントラストレベル間で同一の勝者カーネルの割合を計算し、コントラスト変動に対する感受性を評価した。
• 特に、最初のマックスプーリングの直前の最後の畳み込み層において、カーネルの同一性がどのように変化するかを特定することに焦点を当てた。
• コントラスト不変性を持つネットワーク（例：VGG、Inception）と不変性に欠けるネットワーク（例：GoogLeNet、AlexNet）との間で比較分析を行った。

実験結果

リサーチクエスチョン

• RQ1 異なるDNNアーキテクチャは、入力画像のコントラスト変動に対してどのように反応するか？
• RQ2 コントラスト不変性を持つネットワークとコントラスト変化に感受性を示すネットワークを区別するアーキテクチャ的特徴は何か？
• RQ3 入力画像のコントラスト変化を軽減する上で、どの畳み込み層が最も重要か？
• RQ4 DNNは、生物学的視覚システムで観察されるコントラスト不変性メカニズムをどの程度模倣しているか？

主な発見

• 最初のマックスプーリングの前に寛大な畳み込み層を持つネットワーク—例えばVGG や Inception—は、5％コントラストにまで達しても高い分類精度を維持した。
• 最初のマックスプーリングの直前の最後の畳み込み層がコントラスト変動に対して最も感受性を示し、コントラスト変化の主要な緩和要因であると判明した。
• 一方、最初の畳み込み層の直後にマックスプーリングが配置されたネットワーク—例：GoogLeNet や AlexNet—は、低コントラストレベルで急激な性能低下を示した。
• コントラストが低下するに従い、最後のマックスプーリング前の層における同一の勝者カーネルの割合が著しく低下した。これは、入力コントラストに応じた動的な適応が行われていることを示唆している。
• Inception-V3では、最終のマックスプーリング前の層で10％コントラストにおいて、最も活性化されたカーネルの2分の1以上が変化したが、分類精度は安定したままだった。これは、初期段階での適応によって強靭性が達成されていることを示している。
• コントラスト不変性を持つネットワークでは一貫して、コントラスト変動に対する感受性が最も高いのは、マックスプーリングの直前の最後の畳み込み層であり、より深い層ではなく、というパターンが確認された。