[論文レビュー] Spatial and Colour Opponency in Anatomically Constrained Deep Networks

Ethan Harris, Daniela Mihai+1 more|arXiv (Cornell University)|Oct 14, 2019

Visual perception and processing mechanisms参考文献 25被引用数 6

ひとこと要約

この論文は、網膜のブottleneckによって制約を受けると、生物学的視覚の主要な特徴である空間的および色覚対照性が、深層畳み込みニューラルネットワークにおいて自然に出現することを示している。神経生理学的にインspiredされた分析を用いて、著者らは、自然画像の統計に応じて、スペクトル的および空間的対照性の細胞、さらには二重対照性の細胞までが出現することを示しており、類縁のプリマト視覚系に類似した機能的組織を明らかにしている。

ABSTRACT

Colour vision has long fascinated scientists, who have sought to understand both the physiology of the mechanics of colour vision and the psychophysics of colour perception. We consider representations of colour in anatomically constrained convolutional deep neural networks. Following ideas from neuroscience, we classify cells in early layers into groups relating to their spectral and spatial functionality. We show the emergence of single and double opponent cells in our networks and characterise how the distribution of these cells changes under the constraint of a retinal bottleneck. Our experiments not only open up a new understanding of how deep networks process spatial and colour information, but also provide new tools to help understand the black box of deep learning. The code for all experiments is avaialable at \url{https://github.com/ecs-vlc/opponency}.

研究の動機と目的

• 生物的に妥当な制約のもとで、深層ニューラルネットワークに空間的および色覚対照性が出現するかどうかを調査すること。
• スペクトル的および空間的対照性の性質に基づいて、初期層ユニットの機能的組織を特徴づけること。
• 対照性細胞の分布が、入力統計かアーキテクチャの設計か、どちらによって駆動されているかを特定すること。
• 深層学習モデルにおける隠れユニットの機能を解釈するための神経生理学的にインspiredされたツールを開発すること。

提案手法

• 網膜と腹側ストリームをモデル化するため、第二層にブottleneckを設けた二段階の深層CNNを訓練する。
• マイクロエレクトロードにインspiredされた刺激（グレーティング、色相パッチ）を用いてユニットの応答を調べる。
• 刺激に対する応答パターンに基づいて、ユニットをスペクトル的、空間的、または二重対照性に分類する。
• 赤/緑および青/イエロー刺激への応答差を測定してスペクトル的対照性を評価する。
• 動くグレーティング刺激に対する中心-周囲応答パターンを測定して空間的対照性を評価する。
• CIELABで符号化された画像で学習し、色のチャネルをシャッフルすることでスペクトル統計を破壊することで、発見を検証する。

実験結果

リサーチクエスチョン

• RQ1 網膜のブottleneckは、深層CNNにスペクトル的および空間的対照性の細胞を誘発するか？
• RQ2 ネットワークの各層およびブottleneck幅の違いによって、対照性細胞タイプの分布はどのように変化するか？
• RQ3 対照性細胞の性質は、自然画像の統計的構造にどの程度依存しているか？
• RQ4 自然画像で学習した深層ネットワークに二重対照性の細胞が出現するか、またその分布は各層でどのように変化するか？

主な発見

• 網膜のブottleneckは機能的階層を誘発する：初期の網膜層には空間的対照性の細胞が主に存在し、後続の腹側ストリーム層には非対照性の細胞がより多く見られる。
• スペクトル的対照性は初期層で最も強く、深さとともに弱まる。これは生物学的視覚と一致する。
• 色覚的および空間的パターンの両方に応答する二重対照性の細胞が出現し、ブottleneck幅が小さくなるに従いその割合が増加する。
• CIELABで符号化された画像で学習した場合でも、二重対照性の細胞の分布はほぼ同一のままである。これは色空間変換に対して頑健であることを示している。
• 色のチャネルをシャッフルするとスペクトル的対照性が消失するが、空間的対照性は保持される。これにより、対照性応答がアーキテクチャではなく画像統計から生じることが確認された。
• 機能的組織は、入力に近いかどうかよりも出力層からの距離に強く関連しており、深さに応じた機能的アーキタイプが存在することが示唆された。