[論文レビュー] A neural network trained to predict future video frames mimics critical properties of biological neuronal responses and perception

William Lotter, Gabriel Kreiman+1 more|arXiv (Cornell University)|May 28, 2018

Neural dynamics and brain function参考文献 45被引用数 19

ひとこと要約

この論文は、ラベルなしで未来の動画フレームを予測するように訓練された再帰的予測ニューラルネットワークが、生物学的視覚皮質反応および知覚的運動錯覚の主要な性質をうまく再現することを示している。モデルは静的刺激に対して動的神経応答を捉え、自己教師あり学習を通じてフラッシュラグ効果や錯視的境界といった複雑な視覚錯覚を説明でき、予測が脳の根本的な組織的原則である可能性を示唆している。

ABSTRACT

While deep neural networks take loose inspiration from neuroscience, it is an open question how seriously to take the analogies between artificial deep networks and biological neuronal systems. Interestingly, recent work has shown that deep convolutional neural networks (CNNs) trained on large-scale image recognition tasks can serve as strikingly good models for predicting the responses of neurons in visual cortex to visual stimuli, suggesting that analogies between artificial and biological neural networks may be more than superficial. However, while CNNs capture key properties of the average responses of cortical neurons, they fail to explain other properties of these neurons. For one, CNNs typically require large quantities of labeled input data for training. Our own brains, in contrast, rarely have access to this kind of supervision, so to the extent that representations are similar between CNNs and brains, this similarity must arise via different training paths. In addition, neurons in visual cortex produce complex time-varying responses even to static inputs, and they dynamically tune themselves to temporal regularities in the visual environment. We argue that these differences are clues to fundamental differences between the computations performed in the brain and in deep networks. To begin to close the gap, here we study the emergent properties of a previously-described recurrent generative network that is trained to predict future video frames in a self-supervised manner. Remarkably, the model is able to capture a wide variety of seemingly disparate phenomena observed in visual cortex, ranging from single unit response dynamics to complex perceptual motion illusions. These results suggest potentially deep connections between recurrent predictive neural network models and the brain, providing new leads that can enrich both fields.

研究の動機と目的

• 自己教師ありで再帰的な予測ニューラルネットワークが、視覚皮質で観察される動的神経応答をモデル化できるかどうかを調査すること。
• このようなモデルが、フラッシュラグ効果や錯視的境界といった時間的予測に基づく知覚的錯覚を説明できるかどうかを検証すること。
• 自然動画シーケンスを用いた教師なし学習によって、単一ニューロン応答動態と複雑な知覚的現象の両方を模倣する表現が得られるかどうかを特定すること。
• 深層学習における予測符号化原理が、脳機能を理解するための統合的枠組みとして機能するかどうかを検討すること。

提案手法

• 研究では、予測符号化原理に基づいて動画予測を目的とする深層再帰的ニューラルネットワークアーキテクチャ「PredNet」を採用している。
• 人為的ラベルなしで、大規模な自然動画データセット（例：KITTI）を用いて、エンド・ツー・エンドに訓練されている。目的関数は次のフレーム予測である。
• 各層からの内部表現を抽出し、神経科学的手法の標準指標を用いて生物学的ニューロン応答と比較している。
• 神経応答動態は、刺激開始および終了に対する一時的応答、および時間的規則性への適応を測定することで分析されている。
• 知覚的錯覚は、モデルの予測と人間の知覚報告を比較することで評価されており、特にフラッシュラグおよび錯視的境界タスクで検証されている。
• モデルの予測誤差は、一時的神経応答の説明に用いられ、フィードフォワード誤差信号が観察された神経一時応答に対応している。

実験結果

リサーチクエスチョン

• RQ1 自然動画シーケンスを自己教師ありで訓練した再帰的ニューラルネットワークは、静的刺激に対する時間的に変化する視覚皮質ニューロン応答ダイナミクスを再現できるか？
• RQ2 予測ネットワークは、フラッシュラグ効果や錯視的境界といった複雑な知覚的錯覚をどの程度説明できるか？
• RQ3 動画予測ネットワークの内部表現は、直接的な生物学的監視なしに、生物学的視覚処理の機能的特性と類似しているか？
• RQ4 深層ネットワークにおける予測符号化は、視覚における神経応答ダイナミクスと知覚的現象の両方を説明するのに十分か？

主な発見

• PredNetモデルは、静的刺激に対して一時的神経応答（開始および終了時のバースト）を示し、視覚皮質ニューロンの実験的記録と密接に一致した。
• 入力が静的であっても、刺激開始後の応答抑制を示し、皮質応答ダイナミクスの特徴的側面を再現した。
• フラッシュラグ錯覚において、モデルの予測位置は実際のバーに対して平均で1.4° ± 1.2°後方にあるが、フレームコピー手法の6°のずれよりも顕著に小さい。これは予測補正が生じていることを示唆している。
• 予測されたフラッシュと移動バー間の平均角度差は6.8° ± 2.0°であり、人間被験者の知覚的ラグと密接に一致しており、統計的予測に一致する知覚的一致を示している。
• 錯視的境界において、モデルは物理的線分よりも錯視的形状に対して高い応答アモルチュードを示し、ピーク応答が遅延して発現した。これは生物学的応答と類似している。
• 全層（E, A, R、および層1と2）において、錯視的境界に対するユニットの好みの平均は正であり、知覚的に錯視的な特徴の強固な表現が得られていることを示している。