[논문 리뷰] Cortical microcircuits as gated-recurrent neural networks

Rui Ponte Costa, Yannis Assael외 3명|arXiv (Cornell University)|2017. 11. 07.

Advanced Memory and Neural Computing참고 문헌 57인용 수 31

한 줄 요약

이 논문은 게이팅을 곱셈 게이트가 아닌 감소 억제를 통해 구현하는 생물학적으로 타당한 순환 신경망인 subLSTM을 제안한다. 이는皮질 미세회로 구조를 반영한다. subLSTM이 언어 모델링 및 순차적 이미지 분류 작업에서 표준 LSTMs와 유사한 성능을 보임을 입증함으로써,皮질 회로가 억제 제어를 통해 게이팅된 순환 네트워크로 기능할 수 있음을 시사한다.

ABSTRACT

Cortical circuits exhibit intricate recurrent architectures that are remarkably similar across different brain areas. Such stereotyped structure suggests the existence of common computational principles. However, such principles have remained largely elusive. Inspired by gated-memory networks, namely long short-term memory networks (LSTMs), we introduce a recurrent neural network in which information is gated through inhibitory cells that are subtractive (subLSTM). We propose a natural mapping of subLSTMs onto known canonical excitatory-inhibitory cortical microcircuits. Our empirical evaluation across sequential image classification and language modelling tasks shows that subLSTM units can achieve similar performance to LSTM units. These results suggest that cortical circuits can be optimised to solve complex contextual problems and proposes a novel view on their computational function. Overall our work provides a step towards unifying recurrent networks as used in machine learning with their biological counterparts.

연구 동기 및 목표

• 인공 순환 신경망과 생물학적皮질 미세회로 사이의 격차를 메우기 위해 LSTMs의 생물학적으로 타당한 대안을 제안하기 위해.
• 皮질 회로에서 흔한 감소 억제가 순차 처리를 위한 효과적인 게이팅을 구현할 수 있는지 조사하기 위해.
• 이 생물학적 제약 조건을 반영한 아키텍처인 subLSTM이 벤치마크 작업에서 표준 LSTMs의 성능을 따라잡을 수 있는지 평가하기 위해.
• 기존皮질 회로 구조와 복잡한 맥락 계산 간의 직접적인 연결을 제공하는 검증 가능한 계산 프레임워크를 제공하기 위해.

제안 방법

• 감소 억제가 흥분성 입력에 작용하는 게이팅된 순환 네트워크인 subLSTM을 제안하며, 이는皮질 미세회로의 흥분과 억제의 균형을 모델링한다.
• LSTM 아키텍처를 표준 흥분성-억제성(EI)皮질 미세회로에 매핑하여 곱셈 게이트를 횡방향 억제 제어로 대체한다.
• 생물학적으로 현실적인 게이팅 메커니즘을 적용하여 억제성 interneuron이 흥분성 입력 흐름을 감소적으로 조절함으로써 네트워크 안정성을 유지한다.
• subLSTM 모델을 훈련하기 위해 시간에 따른 역전파(backpropagation through time)를 사용하며, 표준 LSTMs와 공정한 비교를 위해 하이퍼파rameter를 조정한다.
• 일반화를 향상시키기 위해 가중치 공유와 드롭아웃 정규화를 사용하며, subLSTM, LSTM 및 fix-subLSTM 변종 간의 파라미터 수가 동일하도록 모델 크기를 조정한다.
• 표준 평가 지표인 퍼플렉서티와 정확도를 사용하여 순차적 이미지 분류(pixels위치 MNIST) 및 언어 모델링(Penn Treebank, Wikitext-2)에 대한 실증적 평가를 수행한다.

실험 결과

연구 질문

• RQ1 감소 억제를 갖는 순환 신경망—피부질 미세회로 역학을 모방하는 것—이 표준 LSTMs와 유사한 성능을 달성할 수 있는가?
• RQ2 LSTM의 구성 요소와 알려진皮질 미세회로 아키텍처 사이에 직접적이고 생물학적으로 타당한 매핑이 존재하는가?
• RQ3 곱셈 게이트 대신 감소 억제를 사용할 경우, 순차 처리에서 장기적인 맥락 정보를 유지할 수 있는가?
• RQ4 subLSTM 모델이 흥분-억제 균형과 같은 생물학적 제약 조건을 준수하면서도 LSTMs의 맥락 기억 능력을 재현할 수 있는가?
• RQ5 이 매핑은 감각 처리 및 워킹 메모리에서皮질 미세회로의 계산적 기능을 이해하는 데 어떤 함의를 지니는가?

주요 결과

• subLSTM는 순차적 이미지 분류 및 언어 모델링 작업에서 표준 LSTMs와 유사한 성능을 보이며, 모든 벤치마크에서 유사한 퍼플렉서티와 정확도를 기록한다.
• Penn Treebank 데이터셋에서 subLSTM은 100개의 히든 유닛을 사용하여 테스트 퍼플렉서티 약 70.5를 기록하며, 동일한 하이퍼파라미터 설정에서 LSTM의 성능을 정확히 따라잡는다.
• Wikitext-2 데이터셋에서 subLSTM은 100개의 히든 유닛을 사용하여 테스트 퍼플렉서티 약 62.3을 기록하며, LSTM 기준선과 매우 유사한 성능을 보인다.
• subLSTM 레이어 간에 가중치를 공유하는 fix-subLSTM 변종은 성능을 유지하면서도 파라미터 수를 줄여, 생물학적 제약 조건이 있는 네트워크에서 효율적인 가중치 공유가 가능함을 시사한다.
• 결과는 감소 억제가 순환 네트워크에서 효과적인 게이팅을 수행할 수 있음을 보여주며,皮질 회로가 유사한 계산을 수행할 수 있다는 가설을 지지한다.
• 이 연구는 심층 학습 벤치마크를 사용하여皮질 회로에서의 억제 제어에 관한 생물학적 가설을 검증할 수 있는 프레임워크를 제공한다.