[논문 리뷰] A Study of AI Population Dynamics with Million-agent Reinforcement Learning

Yaodong Yang, Lantao Yu외 5명|arXiv (Cornell University)|2017. 09. 13.

Evolutionary Game Theory and Cooperation참고 문헌 13인용 수 19

한 줄 요약

이 논문은 심층 강화학습을 사용하여 백만 개의 에이전트로 구성된 개미-사냥개 생태계를 시뮬레이션하는 대규모 다중 에이전트 강화학습 프레임워크를 제안한다. 자율적 이기적 행동을 취하는 에이전트들이 자발적으로 로트카-볼테라 유사한 인구 변화 주기와 적응형 군집 행동을 생성함으로써, 자율조직 이론을 통해 설명 가능한 집단적 역학을 나타낸다. 이는 외부 제어 없이도 인공지능 인구 집단에서 거시적 질서가 자발적으로 발생할 수 있음을 시사한다.

ABSTRACT

We conduct an empirical study on discovering the ordered collective dynamics obtained by a population of intelligence agents, driven by million-agent reinforcement learning. Our intention is to put intelligent agents into a simulated natural context and verify if the principles developed in the real world could also be used in understanding an artificially-created intelligent population. To achieve this, we simulate a large-scale predator-prey world, where the laws of the world are designed by only the findings or logical equivalence that have been discovered in nature. We endow the agents with the intelligence based on deep reinforcement learning (DRL). In order to scale the population size up to millions agents, a large-scale DRL training platform with redesigned experience buffer is proposed. Our results show that the population dynamics of AI agents, driven only by each agent's individual self-interest, reveals an ordered pattern that is similar to the Lotka-Volterra model studied in population biology. We further discover the emergent behaviors of collective adaptations in studying how the agents' grouping behaviors will change with the environmental resources. Both of the two findings could be explained by the self-organization theory in nature.

연구 동기 및 목표

• 자연의 자율조직 원리가 인공적으로 생성된 지능 집단의 집단적 역학을 설명할 수 있는지 조사하기 위해.
• 심층 강화학습을 백만 에이전트 규모의 인구로 확장하고, 시뮬레이션된 자연 환경에서 거시적 행동을 연구하기 위해.
• 개별 이기적 행동에 기반하여 외부 감시 없이도 질서 있는 인구 역학과 적응형 군집 행동이 나타나는지 검토하기 위해.
• 실제 생물학에서 관찰된 결과, 예를 들어 로트카-볼테라 모델이 심층 강화학습에 의해 구동되는 AI 인구에 적용되는지 검증하기 위해.

제안 방법

• 환경 역학을 모델링하기 위해 자연 법칙과 논리적 동치를 유일하게 사용하여 대규모 개미-사냥개 세계를 시뮬레이션했다.
• 각 에이전트에 심층 Q-네트워크(DQN)를 탑재하여 강화학습 기반의 개별 의사결정 능력을 부여했다.
• 백만 에이전트 학습을 효율적으로 처리할 수 있도록 재설계된 경험 버퍼를 갖춘 대규모 DRL 학습 플랫폼을 설계했다.
• 중앙 집중식 조율 없이도 각 에이전트가 개별 보상을 최적화할 수 있도록 독립 학습 정책을 사용하여 학습을 진행했다.
• 시간에 따라 개미와 사냥개의 수, 군집 비율, 동적 평형 상태와 같은 거시적 통계량을 모니터링했다.
• 자원 가용성이 변화할 때의 행동 변화를 연구하기 위해 두 가지 사냥개 종류(양과 토끼)를 번갈아가며 먹이를 주었다.

실험 결과

연구 질문

• RQ1 백만 개의 AI 에이전트가 심층 강화학습으로 훈련된 후 자율조직적이고 질서 있는 거시적 역학이 나타날 수 있는가?
• RQ2 결과적으로 나타나는 인구 역학이 생물학적 생태계에서 관찰된 로트카-볼테라 모델과 유사한가?
• RQ3 환경 자원 가용성이 변화할 때 군집 행동과 같은 집단 행동은 어떻게 적응하는가?
• RQ4 자율조직 이론은 외부 제어 없이도 AI 인구 집단에서 복잡하고 안정된 패턴이 어떻게 나타나는지를 설명할 수 있는가?

주요 결과

• AI 인구 집단은 사냥개와 개미의 수가 주기적으로 변동하는 로트카-볼테라 모델과 매우 유사한 인구 역학을 보였다.
• 토끼를 먹이로 주었을 때 군집 사냥을 하는 사냥개 비율이 급격히 감소하고, 양을 먹이로 주었을 때는 급격히 증가하여 집단적 적응이 나타났다.
• 자원 변화에 대한 군집 행동의 출현은 명시적 조율이나 외부 신호 없이도 자발적으로 발생했다.
• 인구 주기와 적응형 군집 행동 양상은 모두 에이전트가 개별 이기적 행동만을 취하고 있음에도 불구하고 자율조직 이론의 예측과 일치했다.
• 결과적으로 지역적 상호작용을 통해 인공지능 시스템에서 거시적 질서가 자발적으로 발생할 수 있으며, 이는 자연 현상과 유사하다.