[논문 리뷰] A neural network trained to predict future video frames mimics critical properties of biological neuronal responses and perception

William Lotter, Gabriel Kreiman외 1명|arXiv (Cornell University)|2018. 05. 28.

Neural dynamics and brain function참고 문헌 45인용 수 19

한 줄 요약

이 논문은 레이블이 없는 데이터로 훈련된 순환 예측 신경망이 생물학적 시각 케이스탈 반응과 인지적 운동 환각의 핵심 특성을 성공적으로 재현함을 보여준다. 이 모델은 정적 자극에 대해 동적인 신경 반응을 포착하고, 플래시-래그 효과와 환각 윤곽과 같은 복잡한 시각 환각을 자기지도 학습을 통해 설명한다. 이는 예측이 뇌의 기본적인 조직 원리임을 시사한다.

ABSTRACT

While deep neural networks take loose inspiration from neuroscience, it is an open question how seriously to take the analogies between artificial deep networks and biological neuronal systems. Interestingly, recent work has shown that deep convolutional neural networks (CNNs) trained on large-scale image recognition tasks can serve as strikingly good models for predicting the responses of neurons in visual cortex to visual stimuli, suggesting that analogies between artificial and biological neural networks may be more than superficial. However, while CNNs capture key properties of the average responses of cortical neurons, they fail to explain other properties of these neurons. For one, CNNs typically require large quantities of labeled input data for training. Our own brains, in contrast, rarely have access to this kind of supervision, so to the extent that representations are similar between CNNs and brains, this similarity must arise via different training paths. In addition, neurons in visual cortex produce complex time-varying responses even to static inputs, and they dynamically tune themselves to temporal regularities in the visual environment. We argue that these differences are clues to fundamental differences between the computations performed in the brain and in deep networks. To begin to close the gap, here we study the emergent properties of a previously-described recurrent generative network that is trained to predict future video frames in a self-supervised manner. Remarkably, the model is able to capture a wide variety of seemingly disparate phenomena observed in visual cortex, ranging from single unit response dynamics to complex perceptual motion illusions. These results suggest potentially deep connections between recurrent predictive neural network models and the brain, providing new leads that can enrich both fields.

연구 동기 및 목표

• 자기지도 학습된 순환 예측 신경망이 시각 피각에서 관찰된 동적인 신경 반응을 모델링할 수 있는지 조사하기 위해.
• 이러한 모델이 시간 예측에 뿌리를 두고 있는 인지적 환각, 예를 들어 플래시-래그 효과와 환각 윤곽을 설명할 수 있는지 테스트하기 위해.
• 자연 영상 시퀀스에 대한 비지도 훈련이 단일 유닛 반응 동역학과 복잡한 인지 현상의 특성을 모방하는 표현을 도출할 수 있는지 확인하기 위해.
• 딥 러닝에서의 예측 코딩 원리가 뇌 기능을 이해하는 데 통합적인 프레임워크로 기능할 수 있는지 탐색하기 위해.

제안 방법

• 연구는 영상 예측을 위해 예측 코딩 원리를 적용한 딥 순환 신경망 아키텍처인 PredNet을 사용한다.
• 모델은 인간의 레이블이 없는 대규모 자연 영상 데이터셋(예: KITTI)을 사용하여, 다음 프레임 예측 목표로 끝에서 끝까지 훈련된다.
• 각 레이어에서 내부 표현을 추출하고, 표준 신경과학 메트릭을 사용하여 생물학적 신경 세포 반응과 비교한다.
• 신경 반응 동역학은 자극 시작 및 종료에 대한 일시적 반응과 시간적 규칙성에 대한 적응을 측정하여 분석된다.
• 인지적 환각은 모델 예측을 인간의 인지적 보고와 비교하여 평가되며, 특히 플래시-래그 및 환각 윤곽 작업에서 이루어진다.
• 모델의 예측 오차는 일시적 신경 반응을 설명하는 데 사용되며, 피드포워드 오차 신호는 관측된 신경 일시적 반응과 대응한다.

실험 결과

연구 질문

• RQ1 자연 영상 시퀀스로 훈련된 자기지도 학습 순환 신경망이 정적 자극에 대해 시각 피각 신경 세포의 시간에 따라 변화하는 반응 동역학을 재현할 수 있는가?
• RQ2 예측 네트워크가 플래시-래그 효과와 환각 윤곽과 같은 복잡한 인지적 환각을 어느 정도 설명할 수 있는가?
• RQ3 영상 예측 네트워크의 내부 표현이 생물학적 시각 처리의 功能적 특성과 유사한가, 즉 직접적인 생물학적 감독 없이도 말이다?
• RQ4 딥 네트워크에서의 예측 코딩이 뇌 기능의 신경 반응 동역학과 인지 현상을 모두 설명하는 데에 충분한가?

주요 결과

• PredNet 모델은 정적 자극에 대해 일시적 신경 반응을 생성하였으며, 자극 시작 및 종료 시의 폭발적 반응이 실험 기록된 시각 피각 신경 세포의 반응과 유사하였다.
• 모델은 자극이 정적일지라도 자극 이후에 반응 억제를 보였으며, 이는 피각 반응 동역학의 특징적인 징후였다.
• 플래시-래그 환각에서, 모델의 예측된 움직이는 막대의 위치는 실제 막대보다 평균 1.4° ± 1.2° 뒤처져 있었으며, 이는 6°의 프레임 복사 기반 오차보다 유의미하게 낮았다. 이는 예측 보정이 일어났음을 시사한다.
• 예측된 플래시와 움직이는 막대 사이의 평균 각도 차이는 6.8° ± 2.0°였으며, 인간 관찰자의 인지적 래그와 매우 유사하여, 통계적 예측과의 인지적 일치를 시사한다.
• 환각 윤곽의 경우, 모델은 물리적 선 세그먼트보다 환각적 형태에 대해 더 높은 반응 앰플리튜드를 보였으며, 피크 반응은 지연된 잠재 시간에서 발생하였다. 이는 생물학적 반응과 유사하였다.
• 모든 레이어(E, A, R 및 레이어 1과 2)에서, 환각 윤곽에 대한 단위의 선호도 평균은 제어 자극 대비 양수였으며, 이는 인지적으로 환각적인 특징을 강력하게 표현하고 있음을 나타낸다.