[논문 리뷰] Development of collective behavior in newborn artificial agents

Donsuk Lee, Samantha M. W. Wood외 1명|arXiv (Cornell University)|2021. 11. 06.

Neural dynamics and brain function참고 문헌 59인용 수 13

한 줄 요약

이 논문은 깊이 있는 강화학습과 호기심 기반 학습—두 가지 생물학적으로 영감을 받은 메커니즘—이 자연스러운 환경에서 원시적인 시각 입력으로부터 외부 보상 없이도 신생 인공 에이전트가 자율적으로 자율적 집단 행동, 예를 들어 자기 운동, 물체 인식, 군집 선호도 등의 핵심 집단 행동을 개발할 수 있음을 제안한다. 주요 기여는 이러한 일반적인 학습 메커니즘만으로도 비지도, 감각 기반 경험에서 복잡하고 적응적인 집단 행동이 생성될 수 있음을 입증한 데 있다.

ABSTRACT

Collective behavior is widespread across the animal kingdom. To date, however, the developmental and mechanistic foundations of collective behavior have not been formally established. What learning mechanisms drive the development of collective behavior in newborn animals? Here, we used deep reinforcement learning and curiosity-driven learning -- two learning mechanisms deeply rooted in psychological and neuroscientific research -- to build newborn artificial agents that develop collective behavior. Like newborn animals, our agents learn collective behavior from raw sensory inputs in naturalistic environments. Our agents also learn collective behavior without external rewards, using only intrinsic motivation (curiosity) to drive learning. Specifically, when we raise our artificial agents in natural visual environments with groupmates, the agents spontaneously develop ego-motion, object recognition, and a preference for groupmates, rapidly learning all of the core skills required for collective behavior. This work bridges the divide between high-dimensional sensory inputs and collective action, resulting in a pixels-to-actions model of collective animal behavior. More generally, we show that two generic learning mechanisms -- deep reinforcement learning and curiosity-driven learning -- are sufficient to learn collective behavior from unsupervised natural experience.

연구 동기 및 목표

• 외부 보상이나 사전 정의된 규칙 없이도 신생 인공 에이전트가 어떻게 집단 행동을 개발할 수 있는지 탐구하는 것.
• 생물학적으로 타당한 학습 메커니즘—깊이 있는 강화학습과 호기심 기반 학습—이 인공 에이전트에서 집단 행동의 출현을 지원할 수 있는지 탐색하는 것.
• 고차원적 감각 입력과 조율된 집단 행동 사이의 격차를 메우기 위해 '픽셀에서 행동으로'의 학습 과정을 모델링하는 것.
• 집단 동물 행동의 발달적이고 기계적 기초를 연구하기 위한 투명하고 신경학적으로 타당한 프레임워크를 제공하는 것.

제안 방법

• 에이전트는 예측 오차를 최대화하기 위해 시각 관찰에서 내재된 보상 신호를 갖춘 깊이 있는 강화학습을 사용하여 훈련된다.
• 에이전트는 그룹메이트와 함께 자연스러운 3차원 시각 환경에 통합되어 원시 픽셀 입력에서의 비지도 학습이 가능하다.
• 학습은 외부 보정 보상이나 명시적 사회적 신호 없이 오직 내재된 동기(호기심)에 의해 이뤄진다.
• 아키텍처는 시각 입력을 처리하기 위해 컨volution 신경망을 사용하고 행동을 생성하기 위해 정책 네트워크를 사용하여 종단 간 '픽셀에서 행동으로' 시스템을 형성한다.
• 에이전트는 다양한 시야각에서 그룹메이트를 변하지 않게 인식하고 스스로 감독된 탐색을 통해 거리 선호도를 개발한다.
• 훈련 환경은 다양한 시각적 및 공간 조건에서의 일반화를 보장하기 위해 절차적으로 생성된다.

실험 결과

연구 질문

• RQ1 외부 보상이나 사전 프로그래밍된 규칙 없이도 인공 에이전트가 내재된 동기만으로 원시 감각 입력에서 집단 행동을 개발할 수 있는가?
• RQ2 어떤 학습 메커니즘이 인공 에이전트에서 자기 운동, 물체 인식, 군집 선호도의 자발적 출현을 지원하는 데에 충분한가?
• RQ3 깊이 있는 강화학습과 호기심 기반 학습이 비지도 경험에서 어떻게 복잡한 사회적 행동을 공동으로 개발하게 하는가?
• RQ4 '픽셀에서 행동으로' 모델이 실제로 관찰된 뉴런 동물의 집단 행동 발달 궤적을 어느 정도 재현할 수 있는가?

주요 결과

• 인공 에이전트는 자연스러운 환경에서 시각 유동을 통해 자신의 운동을 추적하는 자기 운동 인식을 자발적으로 개발한다.
• 에이전트는 명시적 감독 없이도 시야각과 시각적 맥락의 변화에도 불구하고 그룹메이트를 변하지 않게 인식하는 능력을 습득한다.
• 에이전트는 그룹메이트와의 거리 선호도를 강하게 발달시켜 자발적인 군집 형성과 단합을 이룬다.
• 모든 핵심 스킬이 외부 보상 없이 순수하게 호기심 기반 내재 동기로만 유도되어 집단 행동이 발생한다.
• 에이전트의 행동은 실제 뉴런 동물의 행동과 유사하여 원시적인 시각 입력에서 빠르고 비지도로 복잡한 사회적 기술을 습득하는 것을 보여준다.
• 모델는 깊이 있는 강화학습과 호기심이라는 두 가지 일반적인 학습 메커니즘이 인공 에이전트에서 집단 행동을 생성하는 데에 충분하다는 것을 입증한다.