[논문 리뷰] Chance, long tails, and inference: a non-Gaussian, Bayesian theory of vocal learning in songbirds

Baohua Zhou, D. J. Hofmann외 3명|arXiv (Cornell University)|2017. 07. 23.

Animal Vocal Communication and Behavior참고 문헌 62인용 수 18

한 줄 요약

이 논문은 새들이 단일 최적 출력이 아닌 전체 운동 명령의 확률 분포를 학습하는 비정규분포, 베이지안 이론을 제안한다. 벵갈리 펠리치의 고음 높이 변동성을 두꺼운 尾(파워-법칙) 분포와 순환 베이지안 추론으로 모델링함으로써, 큰 급격한 오차는 학습을 억제하지만 점진적인 오차는 그렇지 않음을 설명하고, 적응 중 고음 높이 분포의 형태에 대해 실험적으로 확인된 역학을 예측한다.

ABSTRACT

Traditional theories of sensorimotor learning posit that animals use sensory error signals to find the optimal motor command in the face of Gaussian sensory and motor noise. However, most such theories cannot explain common behavioral observations, for example that smaller sensory errors are more readily corrected than larger errors and that large abrupt (but not gradually introduced) errors lead to weak learning. Here we propose a new theory of sensorimotor learning that explains these observations. The theory posits that the animal learns an entire probability distribution of motor commands rather than trying to arrive at a single optimal command, and that learning arises via Bayesian inference when new sensory information becomes available. We test this theory using data from a songbird, the Bengalese finch, that is adapting the pitch (fundamental frequency) of its song following perturbations of auditory feedback using miniature headphones. We observe the distribution of the sung pitches to have long, non-Gaussian tails, which, within our theory, explains the observed dynamics of learning. Further, the theory makes surprising predictions about the dynamics of the shape of the pitch distribution, which we confirm experimentally.

연구 동기 및 목표

• 기존의 정규분포 기반 센서모터 학습 모델이 왜 큰 급격한 감각 오차는 학습을 감소시키지만 점진적으로 도입된 오차는 그렇지 않은지를 설명하지 못하는 문제를 해결하기 위해.
• 뇌가 단일 최적 명령을 향해 향하는 것이 아니라 전체 운동 명령의 확률 분포를 학습하고 업데이트하는 이론을 개발하기 위해.
• 비정규분포, 두꺼운 尾 분포가 벵갈리 펠리치의 음성 적응에서 관찰된 비선형 역학을 설명할 수 있는지 테스트하기 위해.
• 실시간으로 피치를 이동시키는 청각 피드백을 사용한 실험 데이터를 통해 모델을 검증하기 위해.
• 학습 역학이 평균 오차뿐 아니라 행동 분포의 형태에 따라 달라진다는 것을 보여주기 위해.

제안 방법

• 모델는 감각 피드백을 기반으로 사전 분포를 갱신하기 위해 순환 베이지안 추론을 사용하며, 관측된 고음 오차에서 유도된 가능도 함수를 포함한다.
• 운동 명령의 분포(노래 고음)가 비정규분포임을 가정하며, 특히 파워-법칙 꼬리를 지닌다. 이는 실험 데이터에서 관찰된 실증적 두꺼운 尾 분포를 포착하기 위함이다.
• 가능도 함수는 두 감각 모odalities의 곱으로 모델링되며, 하나는 피치가 이동된(실험적 왜곡), 다른 하나는 이동이 없는(기본 피드백) 것으로, 두꺼운 尾에서 이중모달 가능도를 가능하게 한다.
• 사전 분포는 베이즈의 정리에 따라 순환적으로 갱신되며, 시간에 따른 불확실성 증가를 모델링하기 위해 커널과의 컨볼루션으로 시간 진화를 기술한다.
• 모델은 학습 중 고음 높이 분포의 형태 변화를 예측하며, 특히 큰 오차에서 이중모달성이 나타나는 것을 포함한다.
• 모델은 벵갈리 펠리치에서 실시간으로 작동하는 미니어처 헤드폰 기반 청각 피드백 왜곡을 통해 확보된 실험 데이터와 대조하여 테스트된다.

실험 결과

연구 질문

• RQ1 왜 큰 급격한 감각 오차는 표준 정규분포 모델의 예측과는 달리 더 약한 학습을 초래하는가?
• RQ2 왜 점진적으로 도입된 큰 오차는 보상할 수 있지만, 급격하게 도입된 오차는 보상할 수 없는가?
• RQ3 행동 분포의 형태(예: 두꺼운 尾)가 학습 역학과 오차 보정에 어떤 영향을 미치는가?
• RQ4 전체 운동 명령의 분포를 학습하는 베이지안 모델이 새의 음성 적응에서 비선형 역학을 설명할 수 있는가?
• RQ5 운동 변동성의 비정규분포(파워-법칙) 꼬리가 센서모터 학습에서 어떤 역할을 하는가?

주요 결과

• 벵갈리 펠리치의 노래 고음 분포는 장기간의 비정규분포(파워-법칙) 꼬리를 보이며, 이는 α-안정 분포를 사용해 모델이 성공적으로 포착한다.
• 모델은 실험적으로 관찰된 오차 크기가 커질수록 학습 속도와 크기가 감소하는 현상을 설명하며, 특히 급격한 왜곡에서 두드러진다.
• 이론은 큰 오차가 학습을 억제하는 이유가 극단적 오차를 거부하기 때문이 아니라, 두꺼운 尾에서 가능도 함수가 이중모달이 되어 극단적 오차가 사후 분포에 미치는 영향을 줄이기 때문임을 예측한다.
• 모델은 적응 중 고음 높이 분포의 형태 변화, 특히 큰 오차에서 이중모달성이 나타나는 것을 정확히 예측한다.
• 실험적 검증은 고음 분포가 학습 중에 동적으로 변화하며, 큰 왜곡에서 이중모달성이 증가함을 확인했으며, 이는 모델의 예측과 일치한다.
• 이론은 점진적인 변화가 시스템이 분포 형태를 점진적으로 적응시킬 수 있도록 해서, 점진적인 큰 오차는 보상 가능하지만 급격한 오차는 그렇지 않다는 역설을 설명한다.