[논문 리뷰] Context-sensitive neocortical neurons transform the effectiveness and efficiency of neural information processing

Khubaib Ahmed, Ahsan Adeel외 2명|arXiv (Cornell University)|2022. 07. 15.

Advanced Memory and Neural Computing인용 수 4

한 줄 요약

이 논문은 전방향 입력을 기반으로 하부세포와 관계된 막대기 수상돌기에서 유도된 맥락에 민감한 이중점 신경망을 통합한 생물학적으로 영감을 받은 딥러닝 아키텍처를 제안한다. 맥락 입력에 따라 관련 신호를 증폭하고 불필요한 신호를 억제함으로써, 복잡하고 노이즈가 많은 실세계 데이터를 처리하는 데 있어 뛰어난 효율성과 강건성을 달성한다. 이는 다화자, 저 SNR 조건 하에서 음성-시각 정보 정제 작업을 통해 입증되었으며, 신경 활동이 감소하고 구성 요소 장애에 대한 내성을 향상시켰다.

ABSTRACT

Deep learning (DL) has big-data processing capabilities that are as good, or even better, than those of humans in many real-world domains, but at the cost of high energy requirements that may be unsustainable in some applications and of errors, that, though infrequent, can be large. We hypothesise that a fundamental weakness of DL lies in its intrinsic dependence on integrate-and-fire point neurons that maximise information transmission irrespective of whether it is relevant in the current context or not. This leads to unnecessary neural firing and to the feedforward transmission of conflicting messages, which makes learning difficult and processing energy inefficient. Here we show how to circumvent these limitations by mimicking the capabilities of context-sensitive neocortical neurons that receive input from diverse sources as a context to amplify and attenuate the transmission of relevant and irrelevant information, respectively. We demonstrate that a deep network composed of such local processors seeks to maximise agreement between the active neurons, thus restricting the transmission of conflicting information to higher levels and reducing the neural activity required to process large amounts of heterogeneous real-world data. As shown to be far more effective and efficient than current forms of DL, this two-point neuron study offers a possible step-change in transforming the cellular foundations of deep network architectures.

연구 동기 및 목표

• 현재의 딥러닝 모델이 맥락에 관계없이 모든 입력을 동일하게 처리하는 적분-화염 점 신경망에 의존함에 따라 고에너지 소비와 비효율성이 발생하는 문제를 해결하기 위해.
• 맥락의 관련성에 따라 막대기 수상돌기의 전도를 조절하는 맥락에 민감한 신경계 수상돌기 신경망을 모방함으로써 처리 효율성과 효과성을 향상시킬 수 있는지 탐색하기 위해.
• 이러한 신경망이 불필요한 뉴런 활동과 정보 전달 갈등을 줄여 더 효율적인 학습과 낮은 에너지 소비를 가능하게 할 수 있는지 확인하기 위해.
• 실세계의 복잡한 과제인 다화자, 저 SNR 조건 하에서의 음성-시각 정보 정제 과제를 통해 이 접근법을 검증하기 위해.
• 구성 요소 손상 시에도 높은 성능을 유지함으로써 맥락 인식 처리에 기반한 강건성을 입증하기 위해.

제안 방법

• 기본 수상돌기는 전방향 입력(예: 음성-시각적 특징)을 수령하고, 막대기 수상돌기는 인접 프로세서, 원거리 네트워크 영역, 메모리로부터 맥락 입력을 수령하는 이중점 신경망 아키텍처를 사용한다.
• 막대기 수상돌기에서의 맥락 통합은 학습된 게이팅 메커니즘을 통해 전방향 신호 전달을 조절하며, 일관되고 관련 있는 입력은 증폭하고 불필요한 입력은 감쇠한다.
• 게이팅 기능은 국소, 원거리, 보편적 입력을 조합하여 동적 게인 인자를 계산하고, 이는 전방향 활성화에 적용된다.
• 공유 인코더-디코더 아키텍처를 사용한 수정된 오토인코더 설정을 통해 네트워크를 훈련시키며, 인코더는 맥락에 민감한 프로세서를 사용하고, 디코더는 인코딩된 특징에서 청소된 음성을 재구성한다.
• 구성 요소 장애에 대한 강건성 평가를 위해 다양한 비율(P = 0에서 0.5까지)로 무작위로 프로세서를 비활성화(0으로 설정)하는 실험을 수행한다.
• 손실 함수로는 표준 재구성 손실과 ELBO 손실을 사용하며, 활성화 함수로 ReLU, 배치 정규화, Glorot 균일 가중치 초기화를 적용한다.

실험 결과

연구 질문

• RQ1 맥락에 민감한 이중점 신경망이 관련 정보만 선택적으로 전달함으로써 신경 활동을 줄이고 딥러닝의 에너지 효율성을 향상시킬 수 있는가?
• RQ2 막대기 수상돌기에서의 맥락 조절이 실세계의 노이즈가 많은 음성-시각 처리 과제에서 전방향 신호 전달에 어떤 영향을 미치는가?
• RQ3 제안된 아키텍처가 구성 요소 장애에 대해 표준 딥러닝 모델보다 얼마나 더 강건한가?
• RQ4 국소, 원거리, 메모리에서 온 맥락 입력의 통합이 이질적이고 복잡한 실세계 데이터를 처리하는 데 모델의 능력을 향상시키는가?
• RQ5 이 생물학적으로 영감을 받은 아키텍처가 최소한의 신경 활동으로 높은 성능을 달성할 수 있으며, 신경피질의 효율성을 모방할 수 있는가?

주요 결과

• 맥락에 민감한 이중점 신경망 모델은 저 SNR 및 다화자 조건 하에서 음성-시각 정보 정제 과제에서 표준 딥러닝 모델보다 유의미하게 낮은 신경 활동으로 뛰어난 성능을 달성했다.
• 모델은 프로세서 손상에 매우 강건했으며, 최대 25%의 프로세서가 무작위로 비활성화된 상태에서도 성능을 유지했고, 강건성 측면에서 베이스라인 모델을 능가했다.
• 실증 결과에 따르면 재구성 품질이 1% 이상의 오차 임계값을 초과하면 급격히 떨어지며, 이는 모델 안정성의 임계점임을 시사했다.
• 인접 및 원거리 프로세서로부터 온 맥락 입력의 통합은 특징 선택을 향상시켜 갈등하거나 불필요한 신호의 전달을 감소시켰다.
• 청소된 특징이 제공된 경우 모델은 거의 완벽한 재구성을 달성했으며, 이는 인코더의 특징 품질이 맥락에 민감한 처리에 의해 결정되며, 최종 출력 품질의 주요 결정 요소임을 확인했다.
• 맥락 통합 영역의 사용은 전방향 신호의 동적이고 적응적인 게이팅을 가능하게 하여 더 효율적이고 효과적인 정보 처리를 이끌었다.