[論文レビュー] Prune and distill: similar reformatting of image information along rat visual cortex and deep neural networks

Paolo Muratore, Sina Tafazoli+3 more|arXiv (Cornell University)|May 27, 2022

Neural dynamics and brain function被引用数 8

ひとこと要約

本研究は、深層ニューラルネットワーク（DNNs）とラット視覚皮質が、視覚情報の再形式化という根幹的な計算原理を共有していることを明らかにした。具体的には、明るさ、コントラスト、方向性といった低レベル特徴と次元削減が段階的に行われるプロセスであり、ハッチバック型の内因性次元性プロファイルを示す。DNNでは学習によって不要な画像特徴が能動的に精錬・除去されるが、ラット腹側ストリームでも同様の情報損失と表現の圧縮が観察され、階層的視覚処理における共通の機能的論理が示唆される。

ABSTRACT

Visual object recognition has been extensively studied in both neuroscience and computer vision. Recently, the most popular class of artificial systems for this task, deep convolutional neural networks (CNNs), has been shown to provide excellent models for its functional analogue in the brain, the ventral stream in visual cortex. This has prompted questions on what, if any, are the common principles underlying the reformatting of visual information as it flows through a CNN or the ventral stream. Here we consider some prominent statistical patterns that are known to exist in the internal representations of either CNNs or the visual cortex and look for them in the other system. We show that intrinsic dimensionality (ID) of object representations along the rat homologue of the ventral stream presents two distinct expansion-contraction phases, as previously shown for CNNs. Conversely, in CNNs, we show that training results in both distillation and active pruning (mirroring the increase in ID) of low- to middle-level image information in single units, as representations gain the ability to support invariant discrimination, in agreement with previous observations in rat visual cortex. Taken together, our findings suggest that CNNs and visual cortex share a similarly tight relationship between dimensionality expansion/reduction of object representations and reformatting of image information.

研究の動機と目的

• 深層ニューラルネットワーク（DNNs）とラット視覚皮質が、階層的処理中に視覚情報を再形式化する際に、根本的な原則を共有しているかどうかを調査すること。
• オブジェクト表現の内因性次元性（ID）が、以前にDNNで観察されたように、ラット腹側ストリームでもハッチバック型のプロファイルを示すかどうかを検証すること。
• 低レベルの画像特徴（明るさ、コントラスト、方向性、コーナー）が、DNNの各層を経て段階的に除去または精錬されるかどうかを検討すること。これは、ラット視覚皮質で観察された結果と類似している。
• 両システムにおける表現次元性、特徴の除去、分類性能の間の機能的関連性を評価すること。
• 観察されたDNNのパターンが、単なるアーキテクチャ的制約の結果であるのか、それとも学習によるものであるのかを特定すること。

提案手法

• VGG-16の各層およびラット視覚皮質（V1、LM、LI、LL）の神経記録から得たオブジェクト表現の内因性次元性（ID）を、ランダム射影に基づく推定法を用いて測定した。
• ラット皮質領域における視覚的不変なオブジェクト認識性能を評価するために、神経集団反応を用いた線形分類器を訓練した。
• 個々のニューロン単位における低レベル特徴（明るさ、コントラスト、方向性、コーナー感度）に関する情報を、相互情報量推定法を用いてDNNの各層で定量化した。
• DNNにおける特徴符号化の傾向を、特に方向性および複数方向感度（コーナー）のチューニングの変化に注目して、ラット視覚皮質の傾向と比較した。
• 学習済みDNNを用い、低レベル特徴の除去がネットワークの深さや受容野の大きさの副産物ではなく、学習によって駆動されるものかどうかを検証した。
• VGG-16の各層における分類精度と、個々のニューロンが符号化するカテゴリー情報との関係を分析した。

実験結果

リサーチクエスチョン

• RQ1 ラット腹側ストリームにおけるオブジェクト表現の内因性次元性（ID）は、深層畳み込みニューラルネットワーク（CNNs）で観察されたのと同様に、ハッチバック型のプロファイルを示すか？
• RQ2 深層ニューラルネットワークは、学習中に画像の低レベル特徴（例：明るさ、コントラスト、方向性）を能動的に除去するのか。これは、ラット視覚皮質で観察された情報損失と類似している。
• RQ3 生物学的および人工的視覚階層において、表現の次元削減と特定の画像特徴の精錬／除去の間には、機能的関連性があるか？
• RQ4 自然画像を用いてプローブした場合、ラットおよびサルの視覚皮質における方向性およびコーナー選択性のチューニング傾向は、DNNにも類似した対応物を持つのか？
• RQ5 DNNで観察された画像特徴の除去は、学習の結果であるのか、それとも受容野サイズの増大というアーキテクチャ的アービファクトに起因するのか？

主な発見

• ラット腹側ストリームにおけるオブジェクト表現の内因性次元性（ID）は、ハッチバック型のプロファイルを示す—初期の拡大に続いて収縮する傾向であり、これは以前に深層CNNsで観察されたパターンと一致する。
• VGG-16では、明るさやコントラストといった低レベル特徴に関する情報が、各層を経て段階的に除去される傾向にあり、これはラット視覚皮質で観察された結果と整合的である。
• 方向性およびコーナー情報への感受性は、DNNの各層を経て増加し、初期層では感受性が低く、後続層では高い選択性を示す。これは、ラット腹側ストリームと類似した精錬プロセスを反映している。
• DNNにおける低レベル特徴の除去は、アーキテクチャの深さや受容野の拡大という結果ではなく、学習によって駆動される能動的プロセスである。
• VGG-16の各層において分類精度が向上するに従い、個々のニューロンが符号化するカテゴリー情報も増加するが、これはラット視覚皮質における単一ニューロンの不変性と集団レベルの認識性能の間の関係と類似している。
• 本研究は、生物学的および人工的視覚システムの間で共通する機能的論理を明らかにした。すなわち、次元削減と特徴の除去が密接に結びついており、階層的視覚処理の根本的原則を示唆している。