[논문 리뷰] Autocurricula and the Emergence of Innovation from Social Interaction: A Manifesto for Multi-Agent Intelligence Research

Joel Z. Leibo, Edward Hughes외 2명|arXiv (Cornell University)|2019. 03. 02.

Evolutionary Algorithms and Applications참고 문헌 81인용 수 65

한 줄 요약

본 논문은 사회적 상호작용에서 발생하는 자동 커리큘럼(autocurricula)이 지속적 혁신의 원동력이라고 제시하고, 외생적 도전과 내생적 도전을 분류하며, 지능과 진화에 대한 다중 에이전트 관점을 주장한다.

ABSTRACT

Evolution has produced a multi-scale mosaic of interacting adaptive units. Innovations arise when perturbations push parts of the system away from stable equilibria into new regimes where previously well-adapted solutions no longer work. Here we explore the hypothesis that multi-agent systems sometimes display intrinsic dynamics arising from competition and cooperation that provide a naturally emergent curriculum, which we term an autocurriculum. The solution of one social task often begets new social tasks, continually generating novel challenges, and thereby promoting innovation. Under certain conditions these challenges may become increasingly complex over time, demanding that agents accumulate ever more innovations.

연구 동기 및 목표

• 자동 커리큘럼의 정의와 적응 단위의 계층적 수준 전반에 걸친 혁신 주도에서의 역할 정의
• 비정상적 변화가 있는 사회적 상호작용이 어떻게 자기생성 학습 도전을 만들어내는지 설명 (외생적 및 내생적)
• 경쟁 versus 협력에 따라 자동 커리큘럼을 분류하고 AI 연구와 진화에 대한 시사점을 논의
• 사회적 기억과 제도에 의해 촉발되는 피드백 루프가 누적 문화 진화와 인간의 독특함을 야기한다는 것을 주장한다.

제안 방법

• 자동 커리큘럼 개념을 도입하고 정의를 형식화한다(적응 단위, 구현 정책, 도전).
• 내생적 도전과 외생적 도전을 구분하고 이를 경쟁 및 협력 역학과 연결한다.
• 강화학습, 실증 게임 이론, 자기학습에서의 메커니즘을 조사·종합하여 자동 커리큘럼 생성의 예시를 설명한다(예: TD-Gammon, AlphaGo/Zero 계통).
• 진화적 및 조직적 유사점(제도, 공유자원, 사회적 딜레마)을 논의하여 자동 커리큘럼이 시간에 따라 복잡성을 높일 수 있음을 보여준다.
• 진화생물학과 다중 에이전트 강화학습 연구를 위한 렌으로서 자동 커리큘럼을 연구하는 프레임워크를 제시한다.

실험 결과

연구 질문

• RQ1 자동 커리큘럼이 문제 문제를 해결하기에 충분히 다양한 도전을 생성할 수 있는가?
• RQ2 전략과 구현 간의 이원성이 커뮤니티 수준이나 상위 차원의 적응 단위에서도 지속되는가?
• RQ3 사회적 딜레마의 no-free-lunch 성질을 자동 커리큘럼 맥락에서 형식화할 수 있는가?
• RQ4 자동 커리큘럼 현상이 고차원 개체의 진화(예: 다세포성, 사회성) 또는 다중 에이전트 RL 전이에 기여했는가?
• RQ5 다른 계층 수준에서의 도전들이 어떻게 서로 작용하며 피드백 루프가 누적 문화나 가상 자치화를 만들어낼 수 있는가?

주요 결과

• 자동 커리큘룸은 계층적 수준 전반에 걸친 적응 단위 간의 상호작용에서 발생하여 학습 지형을 교란하는 연속적 적응 도전을 만든다.
• 외생적 자동 커리큘룸은 경쟁 역학과 자기학습에서 비롯되며, 바둑, 체스, 경쟁 RL 설정과 같은 게임에서 지속적 혁신을 촉진할 수 있다.
• 내생적 자동 커리큘럼은 내부 집단 역학과 사회 제도에서 비롯되어 협력, 처벌, 거버넌스 메커니즘을 형성한다.
• 자기학습과 기억이 풍부한 사회적 과정은 혁신을 지속시킬 수 있으며 언어와 제도에 의해 인간의 누적 문화 진화를 뒷받침할 수 있다.
• 이 프레임워크는 사회적 딜레마에서 no-free-lunch에 준하는 특성을 강조하고, 지속적인 집단행동 문제를 해결하고 자동 커리큘럼을 유지하기 위해 고차원 제도가 필요하다고 주장한다.