[논문 리뷰] HyperNCA: Growing Developmental Networks with Neural Cellular Automata

Elias Najarro, Sudhakaran, Shyam외 2명|IT University Of Copenhagen (IT University of Copenhagen)|2022. 04. 25.

Ferroelectric and Negative Capacitance Devices참고 문헌 36인용 수 6

한 줄 요약

HyperNCA는 생물학적 시스템을 영감으로 삼아 자기조직화되고 발달적인 과정을 통해 인공 신경망을 성장시키는 새로운 하이퍼넷워크 프레임워크를 제안한다. 이는 NCA 자체의 파라미터 수보다 훨씬 많은 파라미터를 가진 정책 네트워크를 생성할 수 있으며, Lunar Lander나 4족 보행과 같은 강화학습 과제에서 뛰어난 성능을 달성한다. 또한 동일한 NCA를 사용해 다양한 형태로의 가중치 적응을 통해 메타모르시스를 보이며 성능을 유지한다.

ABSTRACT

In contrast to deep reinforcement learning agents, biological neural networks are grown through a self-organized developmental process. Here we propose a new hypernetwork approach to grow artificial neural networks based on neural cellular automata (NCA). Inspired by self-organising systems and information-theoretic approaches to developmental biology, we show that our HyperNCA method can grow neural networks capable of solving common reinforcement learning tasks. Finally, we explore how the same approach can be used to build developmental metamorphosis networks capable of transforming their weights to solve variations of the initial RL task.

연구 동기 및 목표

• 자기조직화를 통해 생물학적 신경 발달을 모방하는 간접 인코딩 방법을 개발하는 것.
• 계산적으로 불가역적이고 국소적 상호작용 기반의 성장 과정이 직접적인 가중치 최적화 없이도 복잡한 고파라미터 정책 네트워크를 생성할 수 있는지 탐구하는 것.
• 단일 NCA가 가중치의 형태 변화를 통해 다양한 과제에 적합한 정책 네트워크를 생성함으로써 인공 에이전트에서 발달적 메타모르시스의 가능성을 탐구하는 것.
• 형태 변화나 손상 상황에서도 일반화 능력과 내구성을 향상시키는 발달적 접근이 효과적인지 평가하는 것.
• 최소한의 유전 정보로도 복잡한 기능적 시스템을 생성할 수 있는 '유전자 병목 원칙'을 준수하는 생물학적으로 영감을 받은 신경망 성장 프레임워크를 제공하는 것.

제안 방법

• HyperNCA는 정책 네트워크의 가중치를 발달 과정을 통해 생성하는 하이퍼넷워크로 신경 세포 자동기계(NCA)를 사용한다.
• NCA는 학습된 신경망에 의해 정의된 국소 업데이트 규칙을 사용하여 시간이 지남에 따라 진화하며, 이 규칙을 개별적으로 적용하여 발달 상태를 나타내는 잠재 격자를 업데이트한다.
• 최종 정책 네트워크는 NCA의 최종 상태를 완전히 연결된 또는 합성곱 신경망 아키텍처로 디코딩하여 생성된다.
• 이 방법은 계산적 불가역성을 활용한다: 최종 네트워크 아키텍처는 분석적 계산이 아닌 전반적인 발달 시뮬레이션 후에만 도출된다.
• 다른 형태 구조에 대해 동일한 NCA를 적용함으로써 메타모르시스 메커니즘이 도입되어, 동일한 발달 과정이 다양한 과제에 특화된 정책 네트워크를 생성할 수 있다.
• 발달 단계를 거쳐 가중치의 궤적을 주성분 분석(PCA)을 통해 시각화하여, 형태 변화에 따라 정책 가중치가 체계적으로 변형되는지 확인한다.

실험 결과

연구 질문

• RQ1 신경 세포 자동기계(NCA)가 자기조직화 발달 과정을 통해 강화학습 과제에 적합한 깊고 고파라미터 정책 네트워크를 성장시킬 수 있는가?
• RQ2 NCA에 의해 이끄는 발달 과정은 고정된 정책 네트워크보다 에이전트의 형태 변화 상황에서 더 나은 일반화 성능을 보이는가?
• RQ3 생성된 정책 네트워크의 가중치가 다양한 형태에 대해 체계적이고 연속적으로 변형되는 정도는 어느 정도이며, 진정으로 발달적 적응을 나타내는가?
• RQ4 동일한 NCA 모델이 다양한 형태에 대해 서로 다른, 효과적인 정책 네트워크를 생성할 수 있는가? 이는 인공 에이전트에서의 메타모르시스 잠재력을 보여주는가?
• RQ5 NCA에 의해 생성된 정책의 성능은 표준 직접 인코딩 강화학습 방법과 비교해 복잡한 형태 변화나 손상 상황에 대해 얼마나 뛰어난 내구성을 보이는가?

주요 결과

• HyperNCA는 유일하게 1,480개의 학습 가능한 파라미터를 가진 NCA를 사용하여 1,792개의 파라미터를 가진 정책 네트워크를 성공적으로 생성하여 효과적인 간접 인코딩을 입증했다.
• 표준 Mujoco Ant 형태(M1)에서 정책 네트워크는 보상 1,329를 기록하여 원래 과제에서 뛰어난 성능을 보였다.
• 손상된 형태(M2, 앞다리와 뒷다리 각각 한 개 제거)에서 평가했을 때, HyperNCA를 통해 학습된 정책는 1,343의 보상을 기록하여 이 조건에서 표준 베이스라인을 초월했다.
• M3 형태(M3, 앞다리 두 개 제거)에서 정책는 1,266의 보상을 기록하여 구조적 변화에 대한 뛰어난 적응 능력을 보였다.
• 교차 평가 결과, 한 형태에서 학습된 정책가 다른 불일치하는 형태에서 낮은 성능(예: M1에서 학습한 정책이 M2에서 21의 보상 기록)을 보여, 가중치가 진정으로 형태 변화에 따라 변형된 것을 확인했다.
• PCA를 통한 가중치 궤적의 시각화 결과, 발달 단계를 거쳐 정책 가중치가 연속적이고 비랜덤하게 변형되는 것을 확인하여, 일관된 발달 경로 존재를 뒷받침했다.