[논문 리뷰] Cortical prediction markets

David Balduzzi|arXiv (Cornell University)|2014. 01. 07.

Complex Systems and Time Series Analysis참고 문헌 23인용 수 11

한 줄 요약

이 논문은 신경세포를 합리적 에이전트로 모델링하고 적절한 점수 규칙을 최적화함으로써皮질 학습을 위한 메커니즘 설계 프레임워크를 제안한다. 이는 시냅스 가중치가 기대 효용을 인코딩하며, 피드백 기반 인센티브 백프로파게이션을 가능하게 한다. 주요 기여는 신경가소성과 예측 시장 간의 이론적 기반을 연결한 것으로, 실험을 통해 피드백 가소성을 사용하는 네트워크가 과제를 효율적이고 정확하게 학습하는 것으로 확인되었다.

ABSTRACT

We investigate cortical learning from the perspective of mechanism design. First, we show that discretizing standard models of neurons and synaptic plasticity leads to rational agents maximizing simple scoring rules. Second, our main result is that the scoring rules are proper, implying that neurons faithfully encode expected utilities in their synaptic weights and encode high-scoring outcomes in their spikes. Third, with this foundation in hand, we propose a biologically plausible mechanism whereby neurons backpropagate incentives which allows them to optimize their usefulness to the rest of cortex. Finally, experiments show that networks that backpropagate incentives can learn simple tasks.

연구 동기 및 목표

• 피질이 환경 정보를 신경 구조로 어떻게 인코딩하는지 메커니즘 설계 원리를 통해 이해하기 위해.
• 지역적 신경세포 최적화를 전역적 피질 功能성과 일치시키기 위한 인센티브 메커니즘으로 도전 과제를 해결하기 위해.
• 시냅스 가소성 규칙이 예측된 효용의 정직한 인코딩을 장려하는 적절한 점수 규칙으로 해석될 수 있는지 탐색하기 위해.
• 피드백을 통해 신경세포가 자신의 유용성을 추정하고 피질 네트워크에 기여하는 데 최적화된 생물학적으로 타당한 메커니즘을 개발하기 위해.
• 스피킹 신경망을 사용한 피드백 가소성 적용 실험을 통해 이론적 프레임워크를 검증하기 위해.

제안 방법

• 표준 신경세포 역학 및 시냅스 가소성 모델을 임계값 뉴런으로 이산화하고, 점수 규칙 목적함수를 최적화하는 온라인 업데이트 규칙을 적용한다.
• 시냅스를 신경시장에서 거래하는 합리적 에이전트로 모델링하며, 시냅스 가중치는 적절한 점수 규칙을 통해 기대 효용을 인코딩한다.
• 신경세포를 피질 예측 시장의 에이전트로 모델링하며, 목적함수는 진정한 신념 보고를 보장하는 적절한 점수 규칙에 해당한다.
• 백프로파게이션된 피드백 스파이크를 사용해 하류 신경세포에 대한 유용성을 추정하는 피드백 기반 인센티브 메커니즘을 도입한다.
• 오차 백프로파게이션과 유사하지만 생물학적으로 타당한 스파이크 기반 백프로파게이션 방식을 구현하여 시냅스 가중치를 업데이트한다.
• 수면과 유사한 이산형 프루닝을 통해 정규화를 적용하여 네트워크의 희소하고 효율적인 연결성을 유지한다.

실험 결과

연구 질문

• RQ1 표준 신경세포 역학 및 가소성 모델을 마켓 유사 프레임워크 내에서 합리적 에이전트가 점수 규칙을 최적화하는 것으로 재해석할 수 있는가?
• RQ2 신경세포 모델의 목적함수는 예측된 효용의 정직한 인코딩을 장려하는 적절한 점수 규칙에 해당하는가?
• RQ3 신경세포는 피드백 신호를 사용해 자신이 피질 전체에 기여하는 유용성을 어떻게 추정할 수 있으며, 이를 학습 유도에 활용할 수 있는가?
• RQ4 피드백 기반 인센티브 메커니즘은 최소한의 감독 하에 피질 유사 네트워크에서 효과적인 학습을 이끌 수 있는가?
• RQ5 시냅스 가중치는 전·후방 시냅스 활동의 기대 효용을 어느 정도 반영하는가? 그리고 이는 네트워크 성능과 어떻게 관련되는가?

주요 결과

• 신경세포 목적함수는 적절한 점수 규칙이며, 이는 시냅스 가중치가 전·후방 스파이크의 기대 효용을 정확히 인코딩함을 보장한다.
• 시냅스 가중치 $\mathbf{w}_{ij}$ 는 뉴런 $n_i$ 의 스파이크가 뉴런 $n_j$ 에 유용한 정도를 정량화하며, 이로써 뉴런은 하류 처리에 기여하는 정도를 추정할 수 있다.
• 피드백 가소성이 활성화된 경우, 평균 전방 및 피드백 시냅스 가중치가 거의 동일해지며, 뉴런의 유용성 추정이 정확함을 보여준다.
• 피드백 가소성을 사용하는 네트워크는 트래커 과제에서 98%의 정확도, 푸오에이터 과제에서 95%의 정확도를 달성하여 피드백 가소성이 없는 버전보다 뚜렷이 뛰어난 성능을 보였다.
• 피드백 가소성 기능을 끄면 정확도가 트래커 과제에서 95%, 푸오에이터 과제에서 93%로 떨어지고 반응 시간이 심각하게 악화되어, 빠르고 적응형 학습에 있어 핵심적인 역할을 한다는 점을 시사한다.
• 지연선 메커니즘이 트래커 성능에 필수적이며, 이를 비활성화하면 정확도가 우연수준으로 떨어지므로, 동적 환경 학습에 있어 시간적 통합의 중요성을 보여준다.