[논문 리뷰] Deep Predictive Learning: A Comprehensive Model of Three Visual Streams

Randall C. O’Reilly, Dean Wyatte외 1명|arXiv (Cornell University)|2017. 09. 14.

Neural dynamics and brain function참고 문헌 235인용 수 31

한 줄 요약

이 논문은 생물학적으로 타당한 딥 예측 학습 모델을 제안하며, 100ms의 알파 리듬 예측 오차를 통해 세 가지 시각 경로—What, Where, What*Where—간의 시냅스 유연성을 이끌어내어 수동적인 시각 경험에서 자율적으로 불변 객체 표현을 형성한다. 펄비나르 대뇌세엽은 예측 투영 스크린으로 기능하며, 층 6 콜로티탈람식 피드백이 예측을 생성하고 시간 차이 신호가 생물물리 원리에서 유도된 局부 활성 규칙을 통해 오차 기반 학습을 이끈다.

ABSTRACT

How does the neocortex learn and develop the foundations of all our high-level cognitive abilities? We present a comprehensive framework spanning biological, computational, and cognitive levels, with a clear theoretical continuity between levels, providing a coherent answer directly supported by extensive data at each level. Learning is based on making predictions about what the senses will report at 100 msec (alpha frequency) intervals, and adapting synaptic weights to improve prediction accuracy. The pulvinar nucleus of the thalamus serves as a projection screen upon which predictions are generated, through deep-layer 6 corticothalamic inputs from multiple brain areas and levels of abstraction. The sparse driving inputs from layer 5 intrinsic bursting neurons provide the target signal, and the temporal difference between it and the prediction reverberates throughout the cortex, driving synaptic changes that approximate error backpropagation, using only local activation signals in equations derived directly from a detailed biophysical model. In vision, predictive learning requires a carefully-organized developmental progression and anatomical organization of three pathways (What, Where, and What * Where), according to two central principles: top-down input from compact, high-level, abstract representations is essential for accurate prediction of low-level sensory inputs; and the collective, low-level prediction error must be progressively and opportunistically partitioned to enable extraction of separable factors that drive the learning of further high-level abstractions. Our model self-organized systematic invariant object representations of 100 different objects from simple movies, accounts for a wide range of data, and makes many testable predictions.

연구 동기 및 목표

• 생물학적, 계산적, 인지 수준의 시각 학습을 연결하는 통합적이고 생물학적으로 제약된 프레임워크를 개발하기 위해.
• 표시된 레이블이나 감독 없이도 수동적인 감각 경험에서 불변 객체 표현이 어떻게 유도되는지 설명하기 위해.
• 100ms 알파 리듬 예측 오차 기반의 예측 학습이 고수준의 시각 추상화를 어떻게 이끌 수 있는지 보여주기 위해.
• dorsal (Where), ventral (What), 그리고 제안된 What*Where 경로를 하나의 예측 학습 아키텍처로 통합하기 위해.
• neocortex 학습이 인지적 및 인지 발달을 어떻게 지원하는지 검증 가능하고 기계적 원리로 설명하기 위해.

제안 방법

• 모델는 예측 학습을 위해 100ms(알파 주파수)의 시간 창을 사용하며, 매 사이클마다 층 6 콜로티탈람식 피드백으로부터 예측을 생성한다.
• 펄비나르 핵은 여러 피질 영역의 예측이 융합되고 감각 입력과 비교되는 '투영 스크린'으로 기능한다.
• 예측 오차는 희박한 내재적 번개 반응을 보이는 층 5의 입력(대상 신호)과 펄비나르가 예측한 신호 사이의 시간 차이로 계산된다.
• 시냅스 유연성은 생물물리 모델 기반의 국소 활성 신호에 의해 이끌리며, 오차 역전파를 근사하는 데 사용된다.
• 모델는 계층적이고 점진적인 저수준 예측 오차의 분할을 통해 분리 가능한 고수준 추상화(예: 객체 정체성, 위치, 운동)를 추출한다.
• 발달적 진행 과정이 아키텍처에 통합되어 있으며, 고수준의 압축된 표현이 저수준 감각 입력의 정확한 예측을 이끈다.

실험 결과

연구 질문

• RQ1 neocortex는 명시적인 카테고리 레이블 없이도 수동적인 시각 경험에서 불변 객체 표현을 어떻게 학습할 수 있는가?
• RQ2 펄비나르 대뇌세엽은 시각 경로 간의 예측 코드를 어떻게 매개하는가?
• RQ3 고수준 표현으로부터 온 상향식 예측은 저수준 감각 입력의 정확한 예측을 어떻게 가능하게 하는가?
• RQ4 알파 리듬 주기 기반의 시간 차이 신호는 생물학적으로 타당한 방식으로 시냅스 유연성을 이끌 수 있는가?
• RQ5 dorsal (Where), ventral (What), 그리고 통합된 What*Where 경로는 예측 학습을 통해 어떻게 공발적으로 발달하는가?

주요 결과

• 모델는 무작위 운동과 색시를 포함한 단순한 영화에서 100개의 서로 다른 객체에 대해 체계적이고 불변적인 표현을 자율적으로 형성했다.
• 펄비나르 핵은 100ms 간격으로 여러 피질 영역의 예측을 융합하고 비교하는 효과적인 예측 투영 스크린으로 기능한다.
• 예측 오차 신호는 대상 입력과 예측 사이의 시간 차이로 계산되며, 국소 신호만을 사용해 역전파를 근사하는 시냅스 유연성을 이끈다.
• 모델는 LIP, MT, MST, IT 피질의 功能적 역할을 포함해 다양한 시각 처리에 관한 실증 데이터를 잘 설명한다.
• 분리 가능한 요소들(예: 객체 정체성 대비 위치)이 집합 예측 오차에서 점진적으로 추출됨을 설명할 수 있다.
• 모델는 층 6 콜로티탈람식 피드백이 예측을 생성하는 데 기여하고, 정확한 저수준 예측을 위해 상향식 추상화가 필수적이라는 등 여러 검증 가능한 예측을 한다.