[논문 리뷰] Fundamental principles of cortical computation: unsupervised learning with prediction, compression and feedback

Micah Richert, Dimitry Fisher외 3명|arXiv (Cornell University)|2016. 08. 19.

Neural dynamics and brain function참고 문헌 46인용 수 5

한 줄 요약

이 논문은 예측, 압축 및 피드백 메커니즘을 통해 비지도 학습을 구현하는 영장류 시각皮質을 생물학적으로 영감을 얻어 설계한 모델을 제안한다. 피드포워드, lateral, 그리고 재귀적 연결을 가진 계층적 케라믹 영역을 사용하여, 예측 코드와 정보 압축을 통해 분리 가능한 물체 표현을 학습함으로써 최첨단의 시각 추적 및 정확한 분류를 달성한다.

ABSTRACT

There has been great progress in understanding of anatomical and functional microcircuitry of the primate cortex. However, the fundamental principles of cortical computation - the principles that allow the visual cortex to bind retinal spikes into representations of objects, scenes and scenarios - have so far remained elusive. In an attempt to come closer to understanding the fundamental principles of cortical computation, here we present a functional, phenomenological model of the primate visual cortex. The core part of the model describes four hierarchical cortical areas with feedforward, lateral, and recurrent connections. The three main principles implemented in the model are information compression, unsupervised learning by prediction, and use of lateral and top-down context. We show that the model reproduces key aspects of the primate ventral stream of visual processing including Simple and Complex cells in V1, increasingly complicated feature encoding, and increased separability of object representations in higher cortical areas. The model learns representations of the visual environment that allow for accurate classification and state-of-the-art visual tracking performance on novel objects.

연구 동기 및 목표

• 시각 피질이 망막 입력을 통합하여 일관된 물체 및 장면 표현으로 묶는 데 기여하는 케라믹 계산의 기본 원리를 규명하기 위해.
• 라벨이 없는 데이터 상황에서 계층적 케라믹 회로가 어떻게 비지도 학습을 지원하는지 이해하는 데에 격차를 메우기 위해.
• 핵심 신경생리학적 및 행동적 특성을 재현하는 영장류 복합경로의 功能적, 현상학적 모델을 개발하기 위해.
• 예측, 압축, 피드백 메커니즘이 공동으로 어떻게 강력한 시각 표현 학습을 가능하게 하는지 조사하기 위해.
• 모델이 지도 학습 전훈 없이도 높은 성능의 물체 분류 및 시각 추적을 달성할 수 있음을 입증하기 위해.

제안 방법

• 피드포워드, lateral, 재귀적 연결을 가진 네 개의 계층적 케라믹 영역(V1부터 고차원 영역까지)을 구현하여 케라믹 미세 회로를 시뮬레이션한다.
• 예측 코드 원리를 적용하여 고차원 영역이 저차원 활동에 대한 예측을 생성하고, 예측 오차를 피드백을 통해 최소화한다.
• 감각 입력을 희박하고 효율적인 표현으로 압축하여 재현을 줄이고 동시에 분류에 유용한 특징을 유지한다.
• 시간에 따라 예측 오차를 최소화함으로써 비지도 학습을 유도하여, 라벨이 없는 데이터 상황에서 자율적으로 특징 검출기를 조직화한다.
• lateral 및 상향 피드백 연결은 맥락적 조절을 제공하여 고차원 영역에서 특징 선택성과 표현 분리도를 향상시킨다.
• 생물학적으로 타당한 학습 규칙을 사용하여 오차 기반 시냅스 가소성을 적용하며, 살아있는 생체에서 관찰된 케라믹 역학과 일치시킨다.

실험 결과

연구 질문

• RQ1 케라믹 회로에서의 비지도 학습이 어떻게 계층적이고 점점 더 복잡한 특징 표현을 만들어내는가?
• RQ2 예측, 압축, 피드백이 효율적이고 강력한 시각 표현 학습을 가능하게 하는 데 어떤 역할을 하는가?
• RQ3 이 원리에 기반한 모델이 V1에서의 단순세포 및 복합세포 반응과 같은 핵심 신경생리학적 현상을 재현할 수 있는가?
• RQ4 이러한 모델이 라벨이 없는 데이터 상황에서 얼마나 높은 성능의 시각 추적 및 분류를 달성할 수 있는가?
• RQ5 lateral 및 상향 연결은 고차원 케라믹 영역에서 물체 표현의 분리도를 향상시키는 데 어떻게 기여하는가?

주요 결과

• 모델은 V1의 단순세포 및 복합세포의 반응 특성(방향성 및 공간 주파수 조절)을 성공적으로 재현한다.
• 특징 표현은 계층 구조가 높아질수록 점점 더 복잡하고 선택적으로 변화하며, 영장류 복합경로에서 관찰되는 진행 방향을 반영한다.
• 고차원 케라믹 영역에서의 물체 표현은 분리도가 높아져 새로운 물체의 정확한 분류를 가능하게 한다.
• 모델은 새로운 물체에 대해 최첨단의 시각 추적 성능를 달성하여 외관 변화에 대해 강건함을 입증한다.
• 예측, 압축, 피드백의 통합은 지도 학습 없이도 불변 표현 학습을 효율적으로 가능하게 한다.
• lateral 및 상향 피드백은 표현 품질을 크게 향상시키고 특징 인코딩의 모호성을 줄인다.