[논문 리뷰] The Ecosystem Path to General AI

Claes Strannegård, Niklas Engsner외 6명|arXiv (Cornell University)|2021. 08. 17.

Evolutionary Game Theory and Cooperation인용 수 2

한 줄 요약

이 논문은 리프렉스, 행복 기반 보상 신호, 강화학습(Reinforcement Learning, RL)으로 훈련된 정책을 갖춘 삼중 신경망 아키텍처를 통해 동물 인지 모델링을 수행하는 유니티 기반의 오픈소스 생태계 시뮬레이터인 Ecotwin을 제안한다. 이 시스템은 하드웨어 규칙 없이도 자연적인 행동이 부상하는 것을 보여주며, 예를 들어 로트카-볼테라 인구 역학, 해양 생물의 일주기 수직 이동, 치명적 회피 반사의 진화적 우월성 등이다. 이는 생태계 시뮬레이터가 공진화적 압력에 의해 일반 지능 개발을 위한 확장 가능한 'AI 연습장'이 될 수 있음을 시사한다.

ABSTRACT

We start by discussing the link between ecosystem simulators and general AI. Then we present the open-source ecosystem simulator Ecotwin, which is based on the game engine Unity and operates on ecosystems containing inanimate objects like mountains and lakes, as well as organisms such as animals and plants. Animal cognition is modeled by integrating three separate networks: (i) a reflex network for hard-wired reflexes; (ii) a happiness network that maps sensory data such as oxygen, water, energy, and smells, to a scalar happiness value; and (iii) a policy network for selecting actions. The policy network is trained with reinforcement learning (RL), where the reward signal is defined as the happiness difference from one time step to the next. All organisms are capable of either sexual or asexual reproduction, and they die if they run out of critical resources. We report results from three studies with Ecotwin, in which natural phenomena emerge in the models without being hardwired. First, we study a terrestrial ecosystem with wolves, deer, and grass, in which a Lotka-Volterra style population dynamics emerges. Second, we study a marine ecosystem with phytoplankton, copepods, and krill, in which a diel vertical migration behavior emerges. Third, we study an ecosystem involving lethal dangers, in which certain agents that combine RL with reflexes outperform pure RL agents.

연구 동기 및 목표

• 자연 선택 하에서 공진화하는 에이전트를 모델링함으로써 생태계 시뮬레이터가 인공 일반 지능(AGI)을 위한 확장 가능한 훈련 환경이 될 수 있는지 탐구한다.
• 반사, 행복 기반 보상 신호, 강화학습(RL)을 통합함으로써 시뮬레이션된 생물에서 적응적이고 생존 중심의 행동이 어떻게 가능해지는지 조사한다.
• 치명적인 위험이 존재하는 환경에서 하이브리드 RL-반사 에이전트가 순수 RL 에이전트보다 우월한가를 평가한다.
• 명시적인 프로그래밍 없이도 복잡한 생태학적 현상—예를 들어 인구 주기와 일주기 수직 이동—이 어떻게 부상하는지 보여준다.
• 재현 가능하고 생물학적으로 영감을 받은 AGI 연구를 위한 오픈소스 플랫폼(Ecotwin)을 구축한다.

제안 방법

• Ecotwin는 산지, 호수 등의 비생물적 물체와 개체군(예: 동물, 식물) 간의 동적 상호작용을 모델링하는 유니티 기반 시뮬레이터이다.
• 동물 인지 능력은 세 가지 상호 연결된 신경망 아키텍처로 모델링된다: (i) 하드웨어로 구현된 반사 네트워크, (ii) 산소, 에너지, 수분, 냄새 등의 감각 입력을 스칼라 형태의 행복도 값으로 매핑하는 행복 네트워크, (iii) 강화학습(RL)으로 훈련된 정책 네트워크.
• RL 정책 네트워크는 연속된 시간 단계 간의 행복도 변화를 보상 신호로 사용하여 목표 지향적 행동을 가능하게 한다.
• 생물들은 유전적으로 상속되는 게놈을 통해 유성 또는 무성 생식을 하며, 정책 및 반사 네트워크를 인코딩함으로써 진화적 동역학을 가능하게 한다.
• 시뮬레이터는 빛 주기, 깊이에 따른 빛 강도, 포식자 회피를 위한 화학유도 감지 기능을 포함한 환경 복잡성도 지원한다.
• 세 가지의 별도된 생태계 연구가 수행되었다: 육상(늑대, 사슴, 풀), 해양(플랑크톤, 코페포드, 크릴), 치명적 위험 환경(염소, 빨간/노란/초록 풀).

실험 결과

연구 질문

• RQ1 RL로 훈련된 에이전트와 반사 기능을 갖춘 시뮬레이션 생태계에서 로트카-볼테라 주기와 같은 자연적 인구 역학이 재현될 수 있는가?
• RQ2 명시적인 프로그래밍 없이도 해양 생태계 모델에서 일주기 수직 이동(DVM) 행동이 자연스럽게 부상할 수 있는가?
• RQ3 치명적인 위험이 존재하는 환경에서 RL과 하드웨어로 구현된 반사 기능을 통합하면 순수 RL 에이전트에 비해 생존 능력과 진화적 적합도가 향상되는가?
• RQ4 진화적 압력 아래에서 치명적인 음식을 회피하는 유전적 반사와 같은 유전적 특성이 얼마나 빨리 인구에 지배적인가?
• RQ5 하나의 간단하고 모듈화된 신경망 아키텍처에서 하드웨어로 구현된 행동 규칙 없이도 복잡하고 생물학적으로 타당한 행동이 부상할 수 있는가?

주요 결과

• 늑대, 사슴, 풀이 있는 육상 생태계에서 로트카-볼테라 스타일의 인구 진동이 자연스럽게 발생하였으며, 사슴과 늑대의 인구는 포식자-피식자 패턴을 따르며 주기적으로 변동하였다.
• 플랑크톤, 코페포드, 크릴이 있는 해양 생태계에서 명확한 일주기 수직 이동(DVM) 패턴이 부상하였으며, 코페포드는 야간에 상승하고 낮에는 하강하는 경향을 보였다. 이는 실제 관측 결과와 일치하였다.
• 치명적 위험 환경 연구에서 빨간 유전자(치명적인 빨간 풀을 회피하는 반사 기능을 인코딩)가 염소 인구에서 급격히 지배적인 것으로 나타났다. 이는 생존에 유리한 반사 기능이 강하게 선택된다는 것을 시사한다.
• 노란 유전자(비치명적인 노란 풀을 회피하는 반사)는 파란 유전자(반사 기능 없음)에 비해 진화적 이점이 없었으며, 이는 비치명적 위험에 대해서는 반사 기반 전략이 순수 RL 전략보다 유리하지 않음을 의미한다.
• 좋은 초록 풀을 회피하는 녹색 유전자를 가진 염소는 유전자 돌연변이로 인해 멸종했다가 재등장하였으며, 이는 돌연변이가 선택 압력이 존재하더라도 유전적 다양성을 유지하는 데서 중요한 역할을 한다는 점을 보여준다.
• 치명적인 환경에서 RL과 반사를 조합한 에이전트가 순수 RL 에이전트보다 뛰어난 성능을 보였으며, 이는 치명적인 위험이 존재할 경우 반사 기능이 생존에 필수적이라는 점을 확인시켰다.