[논문 리뷰] Evolving to learn: discovering interpretable plasticity rules for spiking networks

Jakob Jordan, Maximilian Schmidt외 2명|arXiv (Cornell University)|2020. 05. 28.

Advanced Memory and Neural Computing참고 문헌 81인용 수 5

한 줄 요약

이 논문은 생물학적으로 타당하고 해석 가능한 학습 규칙를 스파iking 신경망을 위한 시냅스 가소성 규칙으로 자동으로 발견하기 위한 진화적 접근을 제안한다. 가시성 규칙 발견 문제를 메타학습 최적화 문제로 재정의함으로써, 생물학적 물리적 제약 조건 하에서 임의의 과제 성능을 극대화하는 심볼릭 표현식을 유전적 프로그래밍으로 진화시킴으로써, 보상 조절 및 오차 기반 학습 메커니즘과 조정된 안정성 기반 STDP 유사 규칙을 포함한 새로운 기능적으로 동일한 가소성 규칙을 발견한다. 이는 특정 과제에서 기존 방법보다 뛰어난 생물학적으로 타당하고 인간이 이해할 수 있는 학습 규칙을 제공한다.

ABSTRACT

Continuous adaptation allows survival in an ever-changing world. Adjustments in the synaptic coupling strength between neurons are essential for this capability, setting us apart from simpler, hard-wired organisms. How these changes can be mathematically described at the phenomenological level, as so called "plasticity rules", is essential both for understanding biological information processing and for developing cognitively performant artificial systems. We suggest an automated approach for discovering biophysically plausible plasticity rules based on the definition of task families, associated performance measures and biophysical constraints. By evolving compact symbolic expressions we ensure the discovered plasticity rules are amenable to intuitive understanding, fundamental for successful communication and human-guided generalization. We successfully apply our approach to typical learning scenarios and discover previously unknown mechanisms for learning efficiently from rewards, recover efficient gradient-descent methods for learning from target signals, and uncover various functionally equivalent STDP-like rules with tuned homeostatic mechanisms.

연구 동기 및 목표

• 생물학적으로 타당하고 효과적이며 해석 가능한 시냅스 가소성 규칙을 발견하는 데 도전하는 것.
• 인간의 지침에 기반한 탐색에서 발생하는 편향을 극복하기 위해, 광범위한 잠재적 가소성 규칙 공간을 자동으로 편향 없이 탐색할 수 있는 방법을 제공하는 것.
• 과제군, 성능 측정 기준, 생물학적 물리적 제약 조건을 발견 과정에 명시적으로 통합하는 체계적인 방법을 개발하는 것.
• 직관적인 이해와 인간 지도 하의 일반화에 적합한 간결한 심볼릭 가소성 규칙을 생성하는 것.
• 보상 기반, 오차 기반, 상관 기반 학습을 위한 스파iking 네트워크에서 새로운 기능적으로 동일한 가소성 메커니즘을 발견하는 것.

제안 방법

• 유전적 프로그래밍을 사용하여, 국소 신경세포 변수에서 시냅스 가중치 변화로의 매핑을 나타내는 심볼릭 표현식을 진화시킴. 각 개체는 가소성 규칙를 나타내는 후보 함수이다.
• 과제군(예: 보상 기반, 오차 기반, 상관 기반 학습)과 관련된 성능 측정 기준(예: 평균 보상, 오차 감소)을 적합도 함수로 정의한다.
• 스파iking 타이밍, 신경조절물질, 세포막 전위 등 생물학적 물리적 제약 조건을 규칙 공간에 통합하여 생물학적 타당성을 확보한다.
• 진화 알고리즘을 사용하여 돌연변이와 선택을 통해 후손을 반복적으로 생성하며, 목표 과제에서 높은 적합도를 보이는 개체를 선호한다.
• 학습 안정성을 높이기 위해 가중치 갱신에 저역통과 필터링을 적용함으로써 생물학적 시간적 통합을 모방한다.
• 실제 동역학(예: 누설 적분-화염 모델 및 포isson 분포 입력 포함)을 갖춘 NEST로 시뮬레이션된 스파이킹 신경망에서 발견된 규칙을 검증한다.

실험 결과

연구 질문

• RQ1 자동화된 진화적 탐색이 특정 학습 과제에서 알려진 메커니즘보다 뛰어난 성능을 보이는 새로운 생물학적으로 타당한 가소성 규칙를 발견할 수 있는가?
• RQ2 진화된 가소성 규칙가 STDP나 보상 조절 가소성과 같은 표준 학습 규칙과 비교해 성능이 유사하거나 뛰어나게 달성할 수 있는가?
• RQ3 동일한 과제에서 다수의 기능적으로 동일한 가소성 규칙가 나타나는가? 그리고 그 규칙들은 의미적으로 해석 가능한가?
• RQ4 일체의 심볼릭 표현식 안에서 헤브시안 및 안정성 조절 성분을 모두 포함하는 가소성 규칙를 발견할 수 있는가?
• RQ5 오차 기반 학습 과제에 적용했을 때, 진화된 규칙는 기울기 기반 학습 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• 이 방법은 보상 신호로부터 효율적으로 학습할 수 있도록 하는 새로운 보상 조절 가소성 규칙를 성공적으로 발견하여, 지정된 과제에서 높은 평균 보상을 달성했다.
• 오차 기반 학습에서 진화된 가소성 규칙는 이론적으로 최적의 경사 하강법 방법과 유사한 성능을 달성하였으며, 심볼릭 가소성 규칙가 역전파 유사 학습을 근사할 수 있음을 보여주었다.
• 이 방법은 조정된 안정성 메커니즘을 갖춘 다수의 기능적으로 동일한 STDP 유사 가소성 규칙를 발견하였으며, 상관관계가 없을 때도 비영인 항목이 전/후시냅스로 유도되는 안정성 조절기 역할을 한다.
• 진화된 규칙는 간결하고 심볼릭이었기 때문에 직관적인 해석과 인간 지도 하의 분석이 가능했으며, 블랙박스 대안과는 달리 해석 가능했다.
• 이 방법은 보상 기반, 오차 기반, 상관 기반 학습을 포함한 여러 과제군에서 뚜렷한 성능 향상을 보이며 뛰어난 강건성을 보였다.
• 진화 과정은 이전에 알려지지 않은 다양한 비트리비얼한 해답을 드러내었으며, 이는 가소성 규칙 공간의 새로운 영역을 탐색할 수 있는 방법의 능력을 입증한다.