[논문 리뷰] Arbitrarily Scalable Environment Generators via Neural Cellular Automata

Yulun Zhang, Matthew C. Fontaine외 3명|arXiv (Cornell University)|2023. 10. 28.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 다중 로봇 시스템을 위한 임의로 확장 가능한 창고 환경을 생성하기 위해 품질다양성(Quality Diversity, QD) 알고리즘을 사용해 신경 세포자동기(Neural Cellular Automata, NCA) 생성기를 훈련하는 방법을 제안한다. 큰 환경을 직접 최적화하는 대신, 이 방법은 작은 환경에서 NCA 생성기를 훈련함으로써 고성능을 유지하면서도 큰 크기의 일관되고 확장 가능한 레이아웃을 생성할 수 있게 하며, 이는 최대 2,350대의 로봇까지 성능 테스트를 통과함을 입증하였다. 이는 이전의 방법들과 비교해도 성능이 유사하거나 뛰어나며, 특히 대규모 설정에서 인간이 설계한 레이아웃보다도 뛰어난 성능을 보였다.

ABSTRACT

We study the problem of generating arbitrarily large environments to improve the throughput of multi-robot systems. Prior work proposes Quality Diversity (QD) algorithms as an effective method for optimizing the environments of automated warehouses. However, these approaches optimize only relatively small environments, falling short when it comes to replicating real-world warehouse sizes. The challenge arises from the exponential increase in the search space as the environment size increases. Additionally, the previous methods have only been tested with up to 350 robots in simulations, while practical warehouses could host thousands of robots. In this paper, instead of optimizing environments, we propose to optimize Neural Cellular Automata (NCA) environment generators via QD algorithms. We train a collection of NCA generators with QD algorithms in small environments and then generate arbitrarily large environments from the generators at test time. We show that NCA environment generators maintain consistent, regularized patterns regardless of environment size, significantly enhancing the scalability of multi-robot systems in two different domains with up to 2,350 robots. Additionally, we demonstrate that our method scales a single-agent reinforcement learning policy to arbitrarily large environments with similar patterns. We include the source code at \url{https://github.com/lunjohnzhang/warehouse_env_gen_nca_public}.

연구 동기 및 목표

• 환경 크기가 커짐에 따라 탐색 공간이 기하급수적으로 증가함에 따라 기존의 품질다양성(Quality Diversity, QD) 방법이 실패하는 다중 로봇 시스템 환경 최적화의 확장성 문제를 해결하기 위해.
• 대규모 레이아웃을 직접 최적화하지 않고도 임의로 큰 크기의 정규화된 고처리량 창고 환경을 생성할 수 있도록 하기 위해.
• 훈련 단계에서 작은 환경에서 NCA 생성기를 훈련하고 테스트 시에 큰 크기로 확장함으로써 계산 비용을 줄이고, 대규모 레이아웃에 대한 비용이 많이 드는 MILP 복구 절차에 대한 의존도를 최소화하기 위해.
• NCA로 생성된 환경가 인간이 설계한 레이아웃이나 직접 최적화된 레이아웃과 비교해도 일관된 패턴을 유지하고, 특히 최대 2,350대의 로봇을 수용하는 대규모 시뮬레이션에서 뛰어난 확장성을 보임을 입증하기 위해.
• 창고(균일/비균일) 및 제조 분야 두 영역에서의 성능을 검증하여 일관된 성능 향상과 확장성 향상을 입증하기 위해.

제안 방법

• 소규모 환경(예: 36×33)에서 CMA-MAE 및 CMA-ES와 같은 QD 알고리즘을 사용해 다양한 신경 세포자동기(Neural Cellular Automata, NCA) 생성기를 훈련하여 패턴 생성 규칙을 학습한다.
• 통합 목표(예: 처리량, 패턴 다양성) 기반으로 QD 알고리즘을 사용해 NCA 생성기를 최적화함으로써 局부 최적해를 피하고 강건성을 확보한다.
• 테스트 시점에 훈련된 NCA 생성기를 사용해 임의로 큰 환경을 생성하며, 세포자동기의 국소적이고 규칙 기반의 업데이트 메커니즘을 활용해 본질적인 확장성을 확보한다.
• 영역 전용 제약 조건(예: 연결성, 저장 용량)을 만족시키기 위해 각 대규모 환경에 대해 한 번만 혼합정수선형계획(Mixed Integer Linear Programming, MILP) 솔버를 적용함으로써 계산 오버헤드를 최소화한다.
• 에이전트 기반 시뮬레이터를 사용해 생성된 환경을 평가하여 처리량과 성공률을 측정하며, 다수의 시뮬레이션 런에 걸쳐 메트릭을 보고한다.
• 소규모 및 대규모로 생성된 환경 간의 패턴 일관성을 평가하기 위해 유사도 점수를 사용하여 척도 간의 구조적 충실도를 확보한다.

실험 결과

연구 질문

• RQ1 QD 알고리즘을 통해 훈련된 NCA 생성기는 다양한 크기에서 일관되고 정규화된 패턴을 유지하는 임의로 확장 가능한 창고 환경을 생성할 수 있는가?
• RQ2 제안된 방법은 대규모 다중 로봇 시뮬레이션에서 기존의 QD 최적화 환경 및 인간이 설계한 레이아웃보다 더 높은 처리량과 확장성을 달성하는가?
• RQ3 다양성 인식 QD 알고리즘(CMA-MAE 등)은 단일 목표 최적화기(CMA-ES 등)에 비해 NCA 생성기의 확장성과 강건성 향상에 얼마나 효과적인가?
• RQ4 한 번 훈련된 NCA 생성기가 직접 최적화된 소규모 환경과 유사한 성능을 보이며 대규모 환경을 생성하는 데 얼마나 일반화 가능한가?
• RQ5 단일 에이전트 강화학습 정책이 임의로 큰 환경으로 확장되면서도 성능 패턴이 유지되는가?

주요 결과

• CMA-MAE + NCA 방법은 크기 S에서 창고(비균일) 도메인에서 100% 성공률과 6.82 ± 0.00 처리량을 달성했으며, 크기 S_eval에서는 84% 성공률과 12.03 ± 0.00 처리량을 기록하여 CMA-ES보다 확장성에서 뛰어난 성능을 보였다.
• 제조 도메인에서는 CMA-MAE + NCA가 크기 S_eval에서 100% 성공률과 23.11 ± 0.01 처리량을 기록했으며, CMA-ES는 계산 예산 내에서 해를 찾지 못해 유의미하게 열등한 성능을 보였다.
• 창고(균일) 도메인에서는 CMA-ES + NCA가 크기 S_eval에서 성공 런이 전혀 없었고(0% 성공률), 반면 CMA-MAE + NCA는 90% 성공률과 16.01 ± 0.00 처리량을 기록했다.
• CMA-ES로 생성된 NCA 환경는 복구되지 않은 상태에서 높은 종점 밀도와 낮은 제약 조건 만족도를 보이며 MILP 복구에 실패하고 局부 최적해에 갇히는 경향이 있었지만, CMA-MAE의 다양성 인식 훈련은 이러한 문제를 피할 수 있었다.
• 이 방법은 2,350대의 로봇까지 환경을 성공적으로 확장했으며, NCA 생성기가 척도 간에 일관되고 정규화된 패턴을 유지함으로써 고처리량 다중 로봇 조율이 가능함을 입증했다.
• 이전 방법에 비해 반복적인 MILP 복구에 대한 의존도를 크게 감소시켰다: 생성 후 대규모 환경당 한 번의 복구만 필요로 하여 계산 비용을 극적으로 절감했다.