[논문 리뷰] Towards NeuroAI: Introducing Neuronal Diversity into Artificial Neural Networks

Fenglei Fan, Yingxin Li외 3명|arXiv (Cornell University)|2023. 01. 23.

Machine Learning in Materials ScienceMaterials Science인용 수 3

한 줄 요약

이 논문은 현재 인공지능의 핵심적 한계인 효율성, 해석 가능성, 기억 능력 향상을 위해 생물학적 신경세포의 다양성을 인공신경망에 통합하는 것을 제안한다. 뇌의 생물학적 구조와 기능을 영감으로 삼아 이질적인 뉴런(예: 이차형, 다항형, 수상돌기형)을 모델링함으로써, 저자들은 다양한 뉴런 유형이 표준 ReLU 기반 네트워크를 초월해 복잡성과 일반화 능력을 향상시킬 수 있음을 입증한다. 이는 이론, 설계, 신경정보학을 통해 신경망 기반 인공지능(NeuroAI)을 발전시킨다.

ABSTRACT

Throughout history, the development of artificial intelligence, particularly artificial neural networks, has been open to and constantly inspired by the increasingly deepened understanding of the brain, such as the inspiration of neocognitron, which is the pioneering work of convolutional neural networks. Per the motives of the emerging field: NeuroAI, a great amount of neuroscience knowledge can help catalyze the next generation of AI by endowing a network with more powerful capabilities. As we know, the human brain has numerous morphologically and functionally different neurons, while artificial neural networks are almost exclusively built on a single neuron type. In the human brain, neuronal diversity is an enabling factor for all kinds of biological intelligent behaviors. Since an artificial network is a miniature of the human brain, introducing neuronal diversity should be valuable in terms of addressing those essential problems of artificial networks such as efficiency, interpretability, and memory. In this Primer, we first discuss the preliminaries of biological neuronal diversity and the characteristics of information transmission and processing in a biological neuron. Then, we review studies of designing new neurons for artificial networks. Next, we discuss what gains can neuronal diversity bring into artificial networks and exemplary applications in several important fields. Lastly, we discuss the challenges and future directions of neuronal diversity to explore the potential of NeuroAI.

연구 동기 및 목표

• 인공신경망의 핵심적 한계—낮은 효율성, 낮은 해석 가능성, 제한된 기억 능력—을 생물학적 뉴런 다양성의 통찰을 통해 해결하고자 한다.
• 다양한 뉴런 유형(예: 이차형, 다항형, 수상돌기형)을 통합함으로써 표준 동질적 ReLU 기반 유닛을 초월한 네트워크 성능 향상을 탐구하고자 한다.
• 이질적 네트워크의 최적화, 일반화, 확장성 분석을 위한 이론적 및 방법론적 기반을 구축하고자 한다.
• 표준화된 모델링, 지식 그래프, 다중 모듈 간 융합을 지원하기 위해 인공 뉴런을 위한 신경정보학의 발전을 촉진하고자 한다.
• 신경과학의 통찰을 인공망에 통합하여 다음 세대 AI를 이끌고, 새로운 분야인 NeuroAI를 발전시키고자 한다.

제안 방법

• 생물학적 뉴런의 형태와 기능을 영감으로 삼아, 이차형, 다항형, 수상돌기형 계산과 같은 다양한 계산 메커니즘을 가진 인공 뉴런 설계 프레임워크를 제안한다.
• 이차형 네트워크의 효율적 최적화 및 설계 탐색을 지원하기 위해 QuadraLib 라이브러리를 도입하며, 비선형 뉴런 유형의 확장 가능한 학습을 가능하게 한다.
• 기존 딥러닝 도구(예: ReLinear 학습 알고리즘)를 적응 및 확장하여 이차형 오토인코더와 같은 새로운 뉴런 아키텍처를 지원한다.
• 텐서 분해 기법을 적용해 깊이 있는 다항형 네트워크를 희소화함으로써 표현력 손실 없이 효율성을 향상시킨다.
• 뉴런 적합도 및 연결성 분석을 지원하기 위해 온톨로지 모델링, 데이터베이스 구축, 지식 그래프 통합을 포함한 인공 뉴런을 위한 신경정보학 파이프라인을 개발한다.
• 기존 딥러닝 이론(예: 신경접선 커널, 더블 디센트)의 이론적 확장을 제안하여 이질적 네트워크의 일반화 및 최적화를 평가한다.

Figure 1: The rapid growth of the number of articles on the research of new neurons in deep learning. The data are based on the search in the Web of Science on December 12, 2022, with the time range from 2000 to 2022 according to the keyword “Deep Learning New Neurons”.

실험 결과

연구 질문

• RQ1 생물학적으로 영감을 받은 뉴런 다양성을 도입함으로써, 인공신경망의 효율성, 해석 가능성, 기억 용량을 얼마나 향상시킬 수 있는가?
• RQ2 이차형, 다항형, 수상돌기형 등 이질적 뉴런 유형이 표준 ReLU 뉴런과 비교해 표현력과 일반화 능력 측면에서 어떻게 다른가?
• RQ3 '일괄적'인 동질적 파라디그마에서 벗어난 이질적 신경망의 최적화, 일반화, 확장성 분석을 위해 어떤 이론적 기반을 마련해야 하는가?
• RQ4 다중 모듈 간 융합을 위해 인공 뉴런과 그 상호작용을 표준화하고 조직화하며 모델링하기 위한 신경정보학 도구는 어떻게 개발할 수 있는가?
• RQ5 딥러닝 아키텍처에서 동질적 활성화 함수를 다양한 기능 전문화 뉴런으로 대체함으로써 발생하는 실용적 및 이론적 영향은 무엇인가?

주요 결과

• 인공 네트워크 내 뉴런 다양성은 표현력과 복잡성을 크게 향상시키며, 복잡성 측정치를 최대화하는 데 깊이가 너비보다 더 효과적임을 보여준다.
• 이차형 네트워크를 지원하는 QuadraLib 라이브러리는 MLSys2022에서 최우수 논문상을 수상하여 실용성과 효율성 향상의 가능성을 입증했다.
• 이차형 및 다항형 네트워크는 텐서 분해를 통해 희소화될 수 있으며, 이는 표현력 손실 없이도 효율적인 학습 및 구현을 가능하게 한다.
• 책 'Dendrite'에 상세히 기술된 수상돌기 계산 모델은 비선형 통합을 위한 생물학적으로 타당한 메커니즘을 제공하며, 고도의 정보 처리를 지원한다.
• 이론적 분석 결과, 이질적 네트워크는 효율성 측면에서 동질적 네트워크를 능가할 수 있으나, 이러한 네트워크의 일반화 및 최적화 이론은 아직 개발이 부족한 상태이다.
• 온톨로지, 데이터베이스, 지식 그래프를 통한 인공 뉴런의 신경정보학은 다양한 뉴런 유형의 체계적 설계, 해석, 융합을 가능하게 한다.

Figure 2: Neurons exhibiting an extraordinary morphological diversity. The shape classifications of neurons include unipolar, bipolar, pseudounipolar, multipolar, and so on.