[논문 리뷰] Flexible Transmitter Network

Shao-Qun Zhang, Zhihua Zhou|arXiv (Cornell University)|2020. 04. 08.

Advanced Memory and Neural Computing참고 문헌 24인용 수 4

한 줄 요약

이 논문은 뉴런 전달 물질 방출과 신경영양인자 조절에 의한 시냅스 크기 조절을 모델링하는 이원수 함수를 통해 시냅스 가소성을 통합한 새로운 생물학적으로 타당한 뉴런 모델인 유연한 전송기(FT) 모델을 제안한다. FT 모델을 복소수 이원수 함수로 공식화하고, 이를 전적으로 연결된 전방향 신경망(FTNet)에 구현함으로써, 시계열 및 이미지 분류를 포함한 다양한 작업에서 CNN-LSTM 및 SLAYER와 같은 최신 기술 모델을 능가하는 뛰어난 성능을 달성한다.

ABSTRACT

Current neural networks are mostly built upon the MP model, which usually formulates the neuron as executing an activation function on the real-valued weighted aggregation of signals received from other neurons. In this paper, we propose the Flexible Transmitter (FT) model, a novel bio-plausible neuron model with flexible synaptic plasticity. The FT model employs a pair of parameters to model the transmitters between neurons and puts up a neuron-exclusive variable to record the regulated neurotrophin density, which leads to the formulation of the FT model as a two-variable two-valued function, taking the commonly-used MP neuron model as its special case. This modeling manner makes the FT model not only biologically more realistic, but also capable of handling complicated data, even time series. To exhibit its power and potential, we present the Flexible Transmitter Network (FTNet), which is built on the most common fully-connected feed-forward architecture taking the FT model as the basic building block. FTNet allows gradient calculation and can be implemented by an improved back-propagation algorithm in the complex-valued domain. Experiments on a board range of tasks show the superiority of the proposed FTNet. This study provides an alternative basic building block in neural networks and exhibits the feasibility of developing artificial neural networks with neuronal plasticity.

연구 동기 및 목표

• 표준 MP 모델을 초월하여 시냅스 가소성을 더 잘 반영하는 더 생물학적으로 타당한 뉴런 모델을 개발하는 것.
• 장기 강화 및 감퇴를 반영하는 신경영양인자 농도를 통한 시냅스 크기의 동적 조절을 모델링하는 것.
• FT 모델을 기반으로 한 학습 가능한 신경망 아키텍처(FTNet)를 설계하여 복소수 영역에서 기울기 기반 학습을 지원하는 것.
• 다양한 기계학습 작업에서 FT 모델의 표현력과 일반화 능력을 입증하는 것.
• 복소수 구현의 가능성을 탐색하여 신경망의 동역학과 성능을 향상시키는 것.

제안 방법

• FT 모델은 전시냅스 신호와 시냅스 강도를 조절하는 신경영양인자 농도 변수를 입력으로 사용하는 이원수 이중값 함수로 뉴런 행동을 표현한다.
• 신경전달물질 방출은 활성/억제 전달을 나타내는 두 개의 파라미터로 모델링되며, 신경영양인자 농도는 후시냅스 수용체 크기와 신호 수용도를 동적으로 조절한다.
• 모델은 복소수 영역에 구현되며, 실수부는 신호 전달을, 허수부는 신경영양인자 동역학을 각각 나타낸다.
• FTNet 아키텍처의 엔드 투 엔드 학습을 가능하게 하기 위해 개선된 복소수 역전파(CBP) 알고리즘을 개발하였다.
• FTNet는 표준 전적으로 연결된 전방향 구조를 사용하며, 모든 레이어가 FT 뉴런 모델 기반이며 CBP 알고리즘을 사용해 학습된다.
• 복소수 표현은 국소 순환 동역학을 시뮬레이션할 수 있게 하여 순차적 및 시간적 데이터의 효과적인 처리를 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경영양인자 조절에 의한 시냅스 가소성을 통합한 뉴런 모델이 표준 MP 모델이나 스파iking 뉴런 모델보다 더 뛰어난 성능을 낼 수 있는가?
• RQ2 특히 장기 강화 및 감퇴와 같은 시냅스 가소성은 기울기 기반 신경망 프레임워크 내에서 어떻게 수학적으로 공식화될 수 있는가?
• RQ3 FT 모델의 복소수 표현 방식이 기울기 기반 학습과 시간 의존성을 포착하는 데 효과적인가?
• RQ4 제안된 FTNet 아키텍처는 이미지 및 시계열 분류를 포함한 다양한 작업에서 기존 최신 기술 모델을 능가하는가?
• RQ5 FT 모델의 이원수 구조는 피드포워드 및 순환 유사 처리 모두에 일반화될 수 있으며, 만약 그렇다면 RNN과 비교해 어떻게 다른가?

주요 결과

• FTNet는 MNIST 데이터셋에서 99.12%의 정확도를 기록하여 CNN-LSTM 모델(98.66%)과 SLAYER 모델를 모두 능가했다.
• TIMIT 음소 인식 작업에서는 단 1000회 반복만으로도 92.87%의 정확도를 달성하여 표준 RNN 및 CNN의 성능을 초월했다.
• 이 평가된 모든 작업에서 FT 모델의 성능는 일관되게 뛰어나, 이미지 분류, 시계열 모델링, 음소 인식을 포함한 분야에서 모두 뛰어난 성능를 보였다.
• 복소수 표현 방식은 안정적이고 효과적인 역전파를 가능하게 하여, FT 모델 학습에 헬름홀로픽 함수를 사용하는 것이 타당함을 입증했다.
• FT 모델은 MP 모델과 RNN 유닛을 특수 케이스로 일반화하며, 더 넓은 표현 능력을 확인했다.
• 학습 가능한 변수로 신경영양인자 농도를 포함시킴으로써 동적 시냅스 가소성이 가능해졌으며, 이는 학습 효율성 향상과 일반화 능력 향상에 기여했다.