[論文レビュー] Arbitrarily Scalable Environment Generators via Neural Cellular Automata

Yulun Zhang, Matthew C. Fontaine+3 more|arXiv (Cornell University)|Oct 28, 2023

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本論文は、品質多様性（QD）アルゴリズムを用いてニューラルセルラー自動機（NCA）ジェネレータを訓練することで、マルチロボットシステム向けに任意にスケーラブルな倉庫環境を生成することを提案する。大規模な環境を直接最適化するのではなく、本手法は小さな環境でNCAジェネレータを訓練し、大規模で一貫性がありスケーラブルなレイアウトを高スループットで生成可能にする。実証例では最大2,350台のロボットを処理可能であり、従来手法と同等または優れた性能を維持しながら、大規模なシナリオでは人間設計のレイアウトを著しく上回る性能を示している。

ABSTRACT

We study the problem of generating arbitrarily large environments to improve the throughput of multi-robot systems. Prior work proposes Quality Diversity (QD) algorithms as an effective method for optimizing the environments of automated warehouses. However, these approaches optimize only relatively small environments, falling short when it comes to replicating real-world warehouse sizes. The challenge arises from the exponential increase in the search space as the environment size increases. Additionally, the previous methods have only been tested with up to 350 robots in simulations, while practical warehouses could host thousands of robots. In this paper, instead of optimizing environments, we propose to optimize Neural Cellular Automata (NCA) environment generators via QD algorithms. We train a collection of NCA generators with QD algorithms in small environments and then generate arbitrarily large environments from the generators at test time. We show that NCA environment generators maintain consistent, regularized patterns regardless of environment size, significantly enhancing the scalability of multi-robot systems in two different domains with up to 2,350 robots. Additionally, we demonstrate that our method scales a single-agent reinforcement learning policy to arbitrarily large environments with similar patterns. We include the source code at \url{https://github.com/lunjohnzhang/warehouse_env_gen_nca_public}.

研究の動機と目的

• 環境サイズの増大に伴う探索空間の指数的増大により、従来の品質多様性（QD）手法が失敗するマルチロボットシステムの環境最適化におけるスケーラビリティのボトルネックを解消すること。
• 大規模なレイアウトを直接最適化することなく、任意に大きな、正則化された、高スループットの倉庫環境を生成可能にすること。
• 大規模なレイアウトの最適化にかかる計算コストを削減するため、小さな環境でNCAジェネレータを訓練し、テスト時に大規模にスケーリングすることで、大規模レイアウトにおける高価なMILP修復に依存するのを最小限に抑えること。
• 2,350台のロボットを含む大規模なシミュレーションにおいて、NCAで生成された環境が人間設計や直接最適化されたレイアウトと比較して一貫性のあるパターンを維持し、スケーラビリティが優れていることを実証すること。
• 2つのドメイン（倉庫（均等／不均等）および製造）において本手法の性能とスケーラビリティの向上を一貫して検証すること。

提案手法

• 品質多様性（QD）アルゴリズム（例：CMA-MAEおよびCMA-ES）を用いて、小さな環境（例：36×33）で多様なニューラルセルラー自動機（NCA）ジェネレータを訓練し、パターン生成ルールを学習する。
• スループットやパターン多様性といった複数の目的に基づいて、QDアルゴリズムでNCAジェネレータを最適化することで、局所最適解を避けて耐性を確保する。
• テスト時に、セルラー自動機の局所的・ルールベースの更新メカニズムを活用し、訓練済みのNCAジェネレータから任意に大きな環境を生成する。
• ドメイン固有の制約（例：接続性、保管容量）を満たすために、1つの大規模環境に対してMILPソルバーを一度だけ適用し、計算コストを最小限に抑える。
• エージェントベースのシミュレータを用いて生成された環境を評価し、スループットと成功確率を測定する。各指標は複数回のシミュレーション実行結果に基づいて報告される。
• 小さな環境と大きな環境で生成されたパターンの類似度スコアを用いて、スケール間での構造的整合性を評価する。

実験結果

リサーチクエスチョン

• RQ1 QDアルゴリズムで訓練されたNCAジェネレータは、異なるサイズにおいて一貫性があり正則化されたパターンを維持する任意にスケーラブルな倉庫環境を生成できるか？
• RQ2 本手法は、大規模なマルチロボットシミュレーションにおいて、従来のQD最適化環境や人間設計のレイアウトと比較して、より高いスループットとスケーラビリティを達成できるか？
• RQ3 多様性に配慮したQDアルゴリズム（例：CMA-MAE）は、単一目的最適化手法（例：CMA-ES）と比較して、NCAジェネレータの訓練におけるスケーラビリティと耐性にどのように寄与するか？
• RQ4 1つの訓練済みNCAジェネレータは、直接最適化された小さな環境と同等の性能で、大規模な環境を生成するのにどれほど一般化可能か？
• RQ5 本手法は、性能パターンを保持したまま、1つのエージェント強化学習ポリシーを任意に大きな環境にスケーリング可能か？

主な発見

• CMA-MAE + NCA手法は、サイズSの不均等な倉庫ドメインで100％の成功確率と6.82 ± 0.00のスループットを達成し、サイズS_evalでは84％の成功確率と12.03 ± 0.00のスループットを示し、CMA-ESを上回るスケーラビリティを示した。
• 製造ドメインでは、CMA-MAE + NCAがサイズS_evalで100％の成功確率と23.11 ± 0.01のスループットを達成したが、CMA-ESは計算予算内に解を発見できず、著しく劣っていた。
• 均等な倉庫ドメインでは、CMA-ES + NCAはサイズS_evalで成功ランがゼロ（0％の成功確率）にとどまり、一方CMA-MAE + NCAは90％の成功確率と16.01 ± 0.00のスループットを達成した。
• CMA-ESで生成された修復未処理のNCA環境は、高密度のエンドポイントと制約違反が顕著で、MILP修復に失敗し、局所最適解に陥ったが、CMA-MAEの多様性に配慮した訓練により、こうした落とし穴を回避できた。
• 本手法は2,350台のロボットまで環境をスケーリングに成功し、NCAジェネレータがスケール間で一貫性があり正則化されたパターンを維持することを実証した。これにより、高スループットなマルチロボット協調が可能になった。
• 本手法により、繰り返しMILP修復に依存する必要が大幅に削減された。生成後、1つの大規模環境に対して1回のMILP修復で十分であり、従来手法と比較して計算コストを著しく削減した。