[논문 리뷰] Inference with Hybrid Bio-hardware Neural Networks

Yuan Zeng, Zubayer Ibne Ferdous외 7명|arXiv (Cornell University)|2019. 05. 28.

Advanced Memory and Neural Computing참고 문헌 31인용 수 4

한 줄 요약

이 논문은 생물학적 층으로 배양된 살아있는 신경망을 사용하고 계산 기반의 완전 연결 층을 통한 최적화를 통해, 적응형 사전 처리, 기울기 추정, 파라미터 조정을 통해 전체 MNIST 데이터셋에서 98.3%의 테스트 정확도를 달성한 이중층 하이브리드 생물-하드웨어 신경망을 제안한다. 이는 생물학적으로 타당한 역동성으로 높은 정확도의 추론을 실현한다.

ABSTRACT

To understand the learning process in brains, biologically plausible algorithms have been explored by modeling the detailed neuron properties and dynamics. On the other hand, simplified multi-layer models of neural networks have shown great success on computational tasks such as image classification and speech recognition. However, the computational models that can achieve good accuracy for these learning applications are very different from the bio-plausible models. This paper studies whether a bio-plausible model of a in vitro living neural network can be used to perform machine learning tasks and achieve good inference accuracy. A novel two-layer bio-hardware hybrid neural network is proposed. The biological layer faithfully models variations of synapses, neurons, and network sparsity in in vitro living neural networks. The hardware layer is a computational fully-connected layer that tunes parameters to optimize for accuracy. Several techniques are proposed to improve the inference accuracy of the proposed hybrid neural network. For instance, an adaptive pre-processing technique helps the proposed neural network to achieve good learning accuracy for different living neural network sparsity. The proposed hybrid neural network with realistic neuron parameters and variations achieves a 98.3% testing accuracy for the handwritten digit recognition task on the full MNIST dataset.

연구 동기 및 목표

• 배양된 살아있는 신경망이 생물학적 변동성을 가지더라도 높은 추론 정확도를 달성할 수 있는지 조사한다.
• 성능 향상을 위해 생물학적 및 계산 기반 층을 융합한 생물학적으로 타당한 추론 메커니즘을 개발한다.
• 실험적 신경 파rameter를 하이브리드 아키텍처에 통합하여 생물학적으로 현실적인 신경 역동성과 고정확도 기계 학습 간 격차를 메운다.
• 살아있는 신경망을 계산 학습 알고리즘 테스트 및 구현 플랫폼으로 사용할 수 있는지 타당성을 검증한다.

제안 방법

• 이중층 하이브리드 신경망을 설계한다: 생물학적 층은 실험적으로 유도된 뉴런, 시냅스 및 희소성 파라미터를 사용해 실제 배양된 랫의 피아 cortical 네트워크를 모델링한다.
• 계산 기반 층은 조정 가능한 가중치와 하이퍼파라미터를 갖춘 완전 연결 네트워크를 사용하여 분류 정확도를 최적화한다.
• 생물학적 층의 다양한 네트워크 희소성 수준에 대응하기 위해 적응형 사전 처리 기법을 적용하여 일관된 성능을 유지한다.
• 입력 전류가 임계값 이하일 경우에만 기울기를 전달하는 방식으로 기울기 추정기(범위 0에서 0.0075)를 사용하여 학습을 향상시킨다.
• 수렴성과 정확도 향상을 위해 계산 기반 층에 적응형 학습률(지수 감쇠)을 적용한다.
• 자동화된 검색을 통한 파라미터 조정을 통해 생물학적 및 계산 기반 층의 최적 학습률과 가중치 분포를 식별한다.

실험 결과

연구 질문

• RQ1 생물학적으로 현실적인 뉴런 및 시냅스 역동성을 갖춘 하이브리드 생물-하드웨어 신경망이 표준 기계 학습 벤치마크에서 높은 추론 정확도를 달성할 수 있는가?
• RQ2 시냅스 강도 및 뉴런 임계값 분포와 같은 생물학적 변동성이 하이브리드 신경망 성능에 미치는 영향은 어떠한가?
• RQ3 하이브리드 학습 시스템에서 생물학적 모델과 계산 모델 간의 성능 격차를 효과적으로 보완할 수 있는 기법은 무엇인가?
• RQ4 생물학적 제약을 고려한 기울기 추정 전략이 하이브리드 네트워크에서 학습 안정성과 정확도 향상에 기여하는가?

주요 결과

• 하이브리드 생물-하드웨어 신경망은 2000개의 은닉 뉴런을 사용하여 전체 MNIST 데이터셋에서 98.3%의 테스트 정확도를 달성했으며, 최신 기술 수준에 근접한 성능를 보였다.
• 2000개의 은닉 뉴런을 사용한 결과 최적화 후 전체 MNIST 데이터셋에서 97.94%의 정확도를 달성하여 스케일러빌리티와 강건성을 입증했다.
• 적응형 사전 처리 기법은 생물학적 층의 다양한 희소성 수준에서도 일관된 성능을 유지하는 데 기여했다.
• 범위가 제한된 기울기 추정기(0에서 0.0075)를 사용함으로써 입력 전류에 따라 가중치를 선택적으로 업데이트함으로써 수렴성을 향상시켰다.
• 지수 감쇠를 적용한 적응형 학습률은 기본 최적화 대비 정확도를 2% 향상시켜 하이브리드 아키텍처 내에서의 효과성을 확인했다.
• 생물학적 물리 모델에서 현실적인 뉴런 변동성을 반영함으로써 은닉층의 발화율을 60%로 낮췄지만 정확도는 향상되었으며, 이는 모델의 생물학적 정확성을 검증했다.