[論文レビュー] HyperNCA: Growing Developmental Networks with Neural Cellular Automata

Elias Najarro, Sudhakaran, Shyam+2 more|IT University Of Copenhagen (IT University of Copenhagen)|Apr 25, 2022

Ferroelectric and Negative Capacitance Devices参考文献 36被引用数 6

ひとこと要約

HyperNCAは、生物学的システムを模倣した自己組織的で発達的なプロセスによって、人工ニューラルネットワークを成長させる、ニューラルセルラー自動機械（NCA）を用いた画期的なハイパーネットワークフレームワークを導入する。この手法により、NCA自体よりもはるかに多くのパラメータを持つポリシー・ネットワークの生成が可能となり、Lunar Lander や四足歩行の強化学習タスクで優れた性能を発揮する。さらに、同一のNCAを用いて異なる形状に適応する重みの変化（メタモルフィシス）を実現し、性能を維持する。

ABSTRACT

In contrast to deep reinforcement learning agents, biological neural networks are grown through a self-organized developmental process. Here we propose a new hypernetwork approach to grow artificial neural networks based on neural cellular automata (NCA). Inspired by self-organising systems and information-theoretic approaches to developmental biology, we show that our HyperNCA method can grow neural networks capable of solving common reinforcement learning tasks. Finally, we explore how the same approach can be used to build developmental metamorphosis networks capable of transforming their weights to solve variations of the initial RL task.

研究の動機と目的

• 生物学的神経発達を模倣した自己組織的プロセスを通じて、強化学習のための新しい間接符号化手法を開発すること。
• 計算的に不可逆的で、局所的相互作用に基づく成長プロセスが、直接的な重み最適化なしに、複雑で高パラメータ数のポリシー・ネットワークを生成できるかどうかを検証すること。
• 人工エージェントにおける発達的メタモルフィシスの可能性を調査すること。具体的には、1つのNCAが重みの変化を経て、複数のタスクに適応したポリシー・ネットワークを生成できるかを検討すること。
• このような発達的アプローチが、形状の変化や損傷に対して一般化性能や耐性を向上させるかを評価すること。
• 最小限の遺伝的情報から複雑な機能的システムを生み出す「ゲノム・ボトルネック」の原則を尊重する、生物学的インスピレーションに基づいたニューラルネットワーク成長フレームワークを提供すること。

提案手法

• HyperNCAは、発達的プロセスを通じてポリシー・ネットワークの重みを生成するハイパーネットワークとしてのニューラルセルラー自動機械（NCA）を採用する。
• NCAは、学習されたニューラルネットワークによって定義される局所的更新ルールを用いて時間経過とともに進化し、発達状態を表す潜在グリッドに対して繰り返し適用される。
• 最終的なポリシー・ネットワークは、NCAの最終状態を完全結合型または畳み込み型のニューラルネットワークアーキテクチャにデコードすることで生成される。
• この手法は計算的不可逆性を活用しており、最終的なネットワーク構造は解析的計算ではなく、発達シミュレーションの全行程を経てのみ出現する。
• メタモルフィシス機構は、同じNCAを異なる形状的構成に適用することで実装され、同一の発達的プロセスが、異なるタスクに特化した、一意のポリシー・ネットワークを生成可能である。
• 発達的ステップにおける重みの軌跡は主成分分析（PCA）を用いて可視化され、形状の変化に応じてポリシー重みが体系的かつ連続的に変化していることを確認した。

実験結果

リサーチクエスチョン

• RQ1 ニューラルセルラー自動機械は、自己組織的で発達的なプロセスを通じて、強化学習タスク用に深く高パラメータ数のポリシー・ネットワークを生成するハイパーネットワークとして機能できるか？
• RQ2 NCAによってガイドされる発達的プロセスは、エージェントの形状が変化した場合に、固定されたポリシー・ネットワークよりも優れた一般化性能を示すか？
• RQ3 生成されたポリシー・ネットワークの重みが、異なる形状において体系的かつ連続的に変化する程度はどの程度か。これは、真の発達的適応を示唆する。
• RQ4 同じNCAモデルが、複数の異なる形状に適した一意で効果的なポリシー・ネットワークを生成できるか。これは、人工エージェントにおけるメタモルフィシスの可能性を示す。
• RQ5 NCAによって生成されたポリシーの性能は、標準的な直接符号化RL手法と比較して、形状的損傷に対してどの程度優れた耐性を示すか？

主な発見

• HyperNCAは、わずか1,480個のトレーニング可能なパラメータを持つNCAを用いて、1,792個のパラメータを持つポリシー・ネットワークを効果的に生成した。これは、間接符号化の有効性を示している。
• 標準的なMujoco Ant形状（M1）では、ポリシーが1,329の報酬を達成し、元のタスクで優れた性能を示した。
• 損傷を加えた形状（M2：前後に1本ずつ脚を除去）では、HyperNCAで訓練されたポリシーが1,343の報酬を達成し、この困難な条件下で標準ベースラインを上回った。
• M3形状（前脚2本を除去）では、1,266の報酬を達成し、構造的変化に対する強靭な適応性を示した。
• クロス評価では、ある形状で訓練されたポリシーが、不一致な形状では著しく性能を発揮しなかった（例：M1で訓練したポリシーがM2で21の報酬）。これは、重みが本質的に変化したことを確認した。
• 重みの軌跡をPCAで可視化した結果、発達的ステップに伴い、非ランダムかつ連続的にポリシー重みが変化していることが確認され、一貫した発達的経路の存在を裏付けた。