[論文レビュー] Towards NeuroAI: Introducing Neuronal Diversity into Artificial Neural Networks

Fenglei Fan, Yingxin Li+3 more|arXiv (Cornell University)|Jan 23, 2023

Machine Learning in Materials ScienceMaterials Science被引用数 3

ひとこと要約

本論文は、現在のAIにおける効率性、解釈可能性、記憶の制限を克服するために、生物学的ニューロンの多様性を人工ニューラルネットワークに統合することを提案する。脳の生物学的構造にインspiredされた多様なニューロン（例：2次関数型、多項式型、デンドリティック型）をモデル化することで、著者らは、多様なニューロン型が標準的なReLUベースのネットワークを上回る複雑性と一般化性能を達成できることを示した。理論的枠組み、設計、神経情報学的手法を統合することで、NeuroAI分野の前進を実現した。

ABSTRACT

Throughout history, the development of artificial intelligence, particularly artificial neural networks, has been open to and constantly inspired by the increasingly deepened understanding of the brain, such as the inspiration of neocognitron, which is the pioneering work of convolutional neural networks. Per the motives of the emerging field: NeuroAI, a great amount of neuroscience knowledge can help catalyze the next generation of AI by endowing a network with more powerful capabilities. As we know, the human brain has numerous morphologically and functionally different neurons, while artificial neural networks are almost exclusively built on a single neuron type. In the human brain, neuronal diversity is an enabling factor for all kinds of biological intelligent behaviors. Since an artificial network is a miniature of the human brain, introducing neuronal diversity should be valuable in terms of addressing those essential problems of artificial networks such as efficiency, interpretability, and memory. In this Primer, we first discuss the preliminaries of biological neuronal diversity and the characteristics of information transmission and processing in a biological neuron. Then, we review studies of designing new neurons for artificial networks. Next, we discuss what gains can neuronal diversity bring into artificial networks and exemplary applications in several important fields. Lastly, we discuss the challenges and future directions of neuronal diversity to explore the potential of NeuroAI.

研究の動機と目的

• 人工ニューラルネットワークの主な制限要因（低効率性、解釈性の低さ、記憶容量の限界）を克服するため、生物学的ニューロンの多様性に着想を得ること。
• 複数のニューロン型（例：2次関数型、多項式型、デンドリティック型）を統合することで、標準的な均一なReLUベースのユニットを上回るネットワーク性能が向上するかを検討すること。
• 非均一なネットワークの最適化、一般化、スケーラビリティ解析を含む、理論的・手法的基盤を確立すること。
• 人工ニューロンの神経情報学的開発を促進し、標準化されたモデリング、知識グラフ、マルチモジュール連携を可能にすること。
• 神経科学の知見を人工ネットワークに統合することで、次世代AIの創出を促進し、新興分野であるNeuroAIを前進させること。

提案手法

• 生物学的ニューロンの形態と機能にインspiredされた、多様な計算メカニズム（例：2次関数型、多項式型、デンドリティック計算）を持つ人工ニューロンの設計フレームワークを提案する。
• 2次関数型ネットワークの効率的最適化と設計探索を可能にするQuadraLibライブラリを導入し、非線形ニューロン型のスケーラブルなトレーニングを実現する。
• 既存のディープラーニングツール（例：ReLinearトレーニングアルゴリズム）を改変・拡張し、2次関数オートエンコーダーなどの新規ニューロンアーキテクチャをサポートする。
• テンソル分解技術を適用して、深層多項式ネットワークをスパース化し、表現力の損失を伴わずに効率性を向上させる。
• オントロジーモデリング、データベース構築、知識グラフ統合を含む人工ニューロン向け神経情報学パイプラインを開発し、ニューロンの適応度と接続性解析を支援する。
• 既存のディープラーニング理論（例：ニューラル接線カーネル、ダブルディセント）を理論的に拡張し、非均一ネットワークにおける一般化と最適化を評価する。

Figure 1: The rapid growth of the number of articles on the research of new neurons in deep learning. The data are based on the search in the Web of Science on December 12, 2022, with the time range from 2000 to 2022 according to the keyword “Deep Learning New Neurons”.

実験結果

リサーチクエスチョン

• RQ1 生物学的インスパイアドニューロンの多様性を導入することで、人工ニューラルネットワークの効率性、解釈可能性、記憶容量がどの程度向上するか。
• RQ2 2次関数型、多項式型、デンドリティック型などの非均一ニューロン型が、標準的なReLUニューロンと比較して表現力と一般化性能においてどのように差をつけるか。
• RQ3 「1つで全ての用途に適する」均一なパラダイムとは異なる非均一ニューラルネットワークにおける最適化、一般化、スケーラビリティを分析するための理論的基盤は何か。
• RQ4 マルチモジュール連携を可能にするために、人工ニューロンとその相互作用を標準化・整理・モデリングする神経情報学ツールはどのように開発できるか。
• RQ5 ディープラーニングアーキテクチャにおいて、均一な活性化関数を多様で機能特化型のニューロンに置き換えることの実用的・理論的影響は何か。

主な発見

• 人工ネットワークにおけるニューロンの多様性は、表現力と複雑性を顕著に向上させることができ、複雑性測定において深さが幅よりも効果的であることが示された。
• 2次関数型ネットワークをサポートするQuadraLibライブラリは、MLSys2022で最優秀論文賞を受賞し、実用的妥当性と効率性の向上を実証した。
• 2次関数型および多項式型ネットワークはテンソル分解によりスパース化可能であり、表現力の損失を伴わず、効率的なトレーニングとデプロイメントが可能である。
• 書籍『Dendrite』に詳述されたデンドリティック計算モデルは、非線形統合の生物学的に妥当なメカニズムを提供し、高度な情報処理を可能にする。
• 理論的分析から、非均一ネットワークは均一ネットワークを上回る効率性を示す可能性があるが、その一般化と最適化理論はまだ十分に発展していない。
• オントロジー、データベース、知識グラフを活用した人工ニューロンの神経情報学的アプローチにより、多様なニューロン型の体系的設計、解釈、連携が可能になる。

Figure 2: Neurons exhibiting an extraordinary morphological diversity. The shape classifications of neurons include unipolar, bipolar, pseudounipolar, multipolar, and so on.