[論文レビュー] Neural Circuit Architectural Priors for Embodied Control

Nikhil X. Bhattasali, Anthony M. Zador+1 more|arXiv (Cornell University)|Jan 13, 2022

Genetics, Aging, and Longevity in Model Organisms被引用数 4

ひとこと要約

本論文は、*C. elegans* の運動回路にインspiredされた生物学的バイアスを備えたアーティフィシャルニューラルネットワークアーキテクチャ—Neural Circuit Architectural Priors (NCAP)—を提案する。励起・抑制のバランス、内在的オシレーター、スパース接続性といった制約を組み込むことで、NCAPは全結合MLPと同等の性能を達成しながら、パラメータ数を桁違いに削減し、データ効率を著しく向上させ、新しいボディデザインへの転送性も優れている。

ABSTRACT

Artificial neural networks for motor control usually adopt generic architectures like fully connected MLPs. While general, these tabula rasa architectures rely on large amounts of experience to learn, are not easily transferable to new bodies, and have internal dynamics that are difficult to interpret. In nature, animals are born with highly structured connectivity in their nervous systems shaped by evolution; this innate circuitry acts synergistically with learning mechanisms to provide inductive biases that enable most animals to function well soon after birth and learn efficiently. Convolutional networks inspired by visual circuitry have encoded useful biases for vision. However, it is unknown the extent to which ANN architectures inspired by neural circuitry can yield useful biases for other AI domains. In this work, we ask what advantages biologically inspired ANN architecture can provide in the domain of motor control. Specifically, we translate C. elegans locomotion circuits into an ANN model controlling a simulated Swimmer agent. On a locomotion task, our architecture achieves good initial performance and asymptotic performance comparable with MLPs, while dramatically improving data efficiency and requiring orders of magnitude fewer parameters. Our architecture is interpretable and transfers to new body designs. An ablation analysis shows that constrained excitation/inhibition is crucial for learning, while weight initialization contributes to good initial performance. Our work demonstrates several advantages of biologically inspired ANN architecture and encourages future work in more complex embodied control.

研究の動機と目的

• 生物学的バイアスを備えたニューラルネットワークアーキテクチャが、運動制御の分野において有用な誘導的バイアスを提供できるかどうかを調査すること。
• *C. elegans* のよくマップされた運動回路に基づいて、Neural Circuit Architectural Prior (NCAP) を開発すること。
• 標準的なMLPと比較して、NCAPの初期性能、漸近的学習、データ効率、パラメータ効率、解釈可能性、および転送性の観点から、NCAPの性能を評価すること。
• 重み共有、符号制約、接続性のスパarsityといった、アーキテクチャ的要因が、小規模で構造化されたネットワークにおける学習と性能に果たす役割を特定すること。

提案手法

• *C. elegans* の運動神経回路を、離散時間ダイナミクスとReLU非線形性を持つ前向き型アーティフィシャルニューラルネットワークに翻訳すること。
• 生物学的特徴の統合：内在的オシレーター（中心パターン生成器）、符号制約付きシナプス（興奮性対抑制性）、スパースでモジュラーな接続性。
• トレーニングおよび評価のためのエンベッディングプラットフォームとして、DeepMind Control Suiteのシミュレーテッドスイマー・エージェントを用いること。
• 最適化パラダイムの多様性を評価するため、強化学習（PPO）と進化戦略（ES）の両方を用いてNCAPをトレーニングすること。
• 重み共有、符号制約、初期化、接続性のスパarsityの寄与を分離するためのアブレーションスタディを実施すること。
• 同一のアーキテクチャを持つ標準的な3層MLP（非構造的で密な接続性、ランダムなプルーニングを施したもの）と比較してベンチマークを実施すること。

実験結果

リサーチクエスチョン

• RQ1 生物学的神経回路にインspiredされたニューラルネットワークアーキテクチャは、身体統合運動制御におけるデータ効率とパラメータ効率を向上させることができるか？
• RQ2 符号制約付きシナプスや内在的オシレーターといった生物学的バイアスを備えたアーキテクチャ的プリオンは、小規模でスパースなネットワークにおける学習にどの程度寄与するか？
• RQ3 NCAPアーキテクチャは、標準的なMLPと比較して、初期性能、漸近的性能、および新しいボディデザインへの転送性において、どのように差をつけるか？
• RQ4 重み初期化、符号制約、スパース接続性といったアーキテクチャ的要因の中で、NCAPフレームワークにおける成功した学習に最も重要となるのはどれか？

主な発見

• NCAPアーキテクチャは、標準的なMLPと同等の漸近的性能を達成したが、パラメータ数を桁違いに削減した。
• NCAPは顕著に高いデータ効率を示し、MLPベースラインと比較して、環境との相互作用回数を著しく減らして運動タスクを学習した。
• 励起と抑制の制約が学習に不可欠であった。符号制約が適切に設定されていなければ、同じトレーニング体制下でもNCAPは学習に失敗した。
• 重み初期化は良好な初期性能を達成する上で重要な役割を果たしており、生物学的に妥当な初期化が収束を早める可能性を示唆している。
• 重み共有はデータ効率にわずかに寄与したが、スパース接続性のみでは、符号制約が併せ合わさない限り性能向上は得られなかった。
• NCAPは新しいボディデザインへの転送が効果的に可能であり、モジュラリティと元のエージェント設定を超えた一般化能力を示した。