[論文レビュー] Deep Connectomics Networks: Neural Network Architectures Inspired by Neuronal Networks

Nicholas J. Roberts, Dian Ang Yap+1 more|arXiv (Cornell University)|Dec 18, 2019

Neural dynamics and brain function被引用数 8

ひとこと要約

この論文は、C. elegans やマウス視覚皮質のコンネクトームを模倣した、深層学習の新規アーキテクチャであるディープコンネクトミクスネットワーク（DCNs）を紹介する。実世界のコンネクトームから導出した有向非巡回グラフ（DAGs）を用い、CNNフレームワークに統合することで、DCNsは画像分類ベンチマークで最先端の性能を達成した。グラフフリーのベースラインや標準的なスモールワールド（ワッツ・ストロガッツ）トポロジーを上回り、グラフパラメータを固定した状態でも性能を発揮した。これは生物学的トポロジーがネットワーク設計において本質的な価値を持つことを示している。

ABSTRACT

The interplay between inter-neuronal network topology and cognition has been studied deeply by connectomics researchers and network scientists, which is crucial towards understanding the remarkable efficacy of biological neural networks. Curiously, the deep learning revolution that revived neural networks has not paid much attention to topological aspects. The architectures of deep neural networks (DNNs) do not resemble their biological counterparts in the topological sense. We bridge this gap by presenting initial results of Deep Connectomics Networks (DCNs) as DNNs with topologies inspired by real-world neuronal networks. We show high classification accuracy obtained by DCNs whose architecture was inspired by the biological neuronal networks of C. Elegans and the mouse visual cortex.

研究の動機と目的

• 実際の生物学的神経ネットワークトポロジー（コンネクトーム）を模倣した深層ニューラルネットワークアーキテクチャが、画像分類タスクの性能向上に寄与するかを調査すること。
• 深層学習において、コンネクトミクス由来のトポロジー的原則が生物学的関連性があるにもかかわらず、アーキテクチャ設計がほとんど無視されているというギャップを埋めること。
• 実際の神経ネットワークのトポロジー構造（例えばスモールワールド特性）が、パrameter数とは独立してモデル性能に寄与するかを評価すること。
• コンネクトーム由来のグラフを深層学習フレームワークのコアなワイヤリングパターンとして用いる際の、DCNsのトレーニング可能性と有効性を示すこと。
• 標準的なビジョンベンチマーク上で、C. elegans やマウス視覚皮質のコンネクトームに基づくDCNsと、合成されたスモールワールドモデル（ワッツ・ストロガッツ）およびグラフフリーのベースラインとを比較すること。

提案手法

• C. elegans およびマウス視覚皮質のコンネクトームから、無向神経ネットワークをランダムな頂点インデックスによる順序付けによって有向グラフに変換し、部分順序を保証することで有向非巡回グラフ（DAGs）を構築した。
• 単一の入力と出力の流れを強制するために、ソースノードとシンクノードを導入した。ソースは入力ノードにブロードキャストし、シンクは出力の重みなし平均を計算した。
• 1つの初期2次元畳み込み層に続き、コンネクトームトポロジーに基づく1つの「ランダムワイヤリング」モジュールを備えた、変更を加えた「RandWire」スタイルのアーキテクチャを設計した。3×3の分離可能畳み込みを用い、ReLU活性化関数とバッチ正則化を適用した。
• 標準的なトレーニングプロトコルを適用：50エポック、Adam最適化法（初期値学習率0.001）、バッチサイズ32、コサインスケジューリングを用い、グラフパラメータを固定または学習可能とした状態で評価した。
• MNIST、Fashion-MNIST、KMNISTでモデルを評価し、グラフフリーCNN、ワッツ・ストロガッツ（WS）グラフ、コンネクトームベースのDCNsのパフォーマンスを比較した。
• 平均パス長、クラスタ係数、モジュラリティ、直径といったグラフ指標を用い、実験で用いられたコンネクトームのトポロジカル特性を特徴づけた。

実験結果

リサーチクエスチョン

• RQ1 実際の生物学的神経ネットワーク（コンネクトーム）由来のトポロジーを持つ深層ニューラルネットワークが、標準的なアーキテクチャよりも画像分類タスクで優れた性能を発揮できるか？
• RQ2 実際の神経ネットワークのトポロジー構造（例えばスモールワールド特性）が、パrameter数とは独立してモデル性能に寄与するか？
• RQ3 C. elegans やマウス視覚皮質のコンネクトームに基づくDCNsは、合成されたスモールワールドモデル（例：ワッツ・ストロガッツ）と比較して、正確性および一般化性能において優れているか？
• RQ4 グラフパラメータを固定した場合でも、コンネクトーム由来トポロジーによる性能向上が維持されるか？これはトポロジーそのものが改善をもたらす証拠となる。
• RQ5 DCNsはMNIST、KMNIST、Fashion-MNISTといった異なるデータセットに一般化可能で、一貫した競争力のある性能を示せるか？

主な発見

• マウス視覚皮質に基づくDCNは、グラフパラメータを学習した場合、MNISTで99.30%の検証精度を達成し、グラフフリーのベースラインCNN（98.01%）およびトレーニング可能なWSモデル（99.27%）を上回った。
• グラフパラメータを固定した状態でも、マウス視覚皮質DCNは98.24%の精度を達成し、ベースライン（98.01%）を上回った。これは、トポロジーそのものが性能向上に寄与することを裏付けた。
• C. elegansに基づくDCNは、10回のトレーニング試行において、MNISTで平均99%、KMNISTで93%、Fashion-MNISTで90%のテスト精度を達成し、異なるデータセットへの強力な一般化能力を示した。
• 固定されたWSモデルはベースライン（97.05% vs. 98.01%）を下回った。これは、すべてのスモールワールドトポロジーが同等に有効であるわけではないことを示し、実際のコンネクトム構造が優れたインダクティブバイアスを提供している可能性を示唆した。
• 同じパラメータ数（固定時）でも、マウス視覚皮質トポロジーを用いたDCNはWSモデルを上回った。これは、生物学的ネットワークの特定のトポロジー構造が学習を促進することを確認した。
• 結果から、実際のコンネクトームのスペクトル的および構造的特性（例：モジュラリティ、クラスタ係数）が、合成されたスモールワールドモデルよりも深層学習アーキテクチャにおいてより効果的なインダクティブバイアスを提供している可能性が示唆された。