[논문 리뷰] Emergence of Structured Behaviors from Curiosity-Based Intrinsic Motivation

Nick Haber, Damian Mrowca외 2명|arXiv (Cornell University)|2018. 02. 21.

Psychological and Educational Research Studies인용 수 11

한 줄 요약

이 논문은 물리적으로 기반을 둔 시뮬레이션 환경에서 에이전트가 행동 결과를 예측하기 위해 월드 모델을 학습하고, 새로운 상호작용을 찾기 위해 적대적 정책을 개발하는 궁금증 기반 강화학습 프레임워크를 제안한다. 이 시스템은 사전 정의된 보상이나 사전 훈련 없이도 시각-운동 행동을 체계적으로 생성한다 — 예를 들어 자기 운동 예측, 물체 주의 집중, 물체 수거 — 궁금증 기반 내재 동기가 자율적으로 발달 단계를 이룬다는 것을 보여준다.

ABSTRACT

Infants are experts at playing, with an amazing ability to generate novel structured behaviors in unstructured environments that lack clear extrinsic reward signals. We seek to replicate some of these abilities with a neural network that implements curiosity-driven intrinsic motivation. Using a simple but ecologically naturalistic simulated environment in which the agent can move and interact with objects it sees, the agent learns a world model predicting the dynamic consequences of its actions. Simultaneously, the agent learns to take actions that adversarially challenge the developing world model, pushing the agent to explore novel and informative interactions with its environment. We demonstrate that this policy leads to the self-supervised emergence of a spectrum of complex behaviors, including ego motion prediction, object attention, and object gathering. Moreover, the world model that the agent learns supports improved performance on object dynamics prediction and localization tasks. Our results are a proof-of-principle that computational models of intrinsic motivation might account for key features of developmental visuomotor learning in infants.

연구 동기 및 목표

• 궁금증 기반 내재 동기가 인공 에이전트에서 체계적이고 발달 유사 행동의 자율적 자기학습적 부상에 기여할 수 있는지 조사하기 위해.
• 유아가 사전 정의된 보상이나 내재된 세계 모델 없이 내재적 탐색을 통해 어떻게 시각-운동 기술을 학습할 수 있는지 모델링하기 위해.
• 월드 모델 정확도와 탐색 정책이 적대적 상호작용을 통해 공진화하는 계산 프레임워크를 개발하기 위해.
• 내재 동기가 물체 역학 예측 및 국소화와 같은 후행 작업에서 월드 모델 성능 향상으로 이어질 수 있는지 보여주기 위해.
• 자율 에이전트가 어린이 놀이와 인지 발달을 모방하여 궁금증을 통해 스스로 학습을 조직화할 수 있는가에 대한 증명을 제시하기 위해.

제안 방법

• 에이전트는 시뮬레이션된 3차원 환경에서 자신의 행동에 따른 시각적 결과를 예측하기 위해 월드 모델(신경망)을 사용한다.
• 별도의 손실 모델이 몇 단계 앞선 월드 모델의 예측 오차를 추정하여 놀라움과 새로운 경험을 극대화하는 행동을 식별한다.
• 에이전트의 정책은 월드 모델에 적대적으로 도전하는 행동을 선택하도록 훈련되어, 뜻밖의 상태 탐색을 촉진한다.
• 시스템은 ImageNet 등 대규모 분류 데이터셋에 대한 사전 훈련 없이 작동하며, 오직 자기 학습 상호작용에 의존한다.
• 월드 모델는 현재 관측과 행동에서 미래 관측을 예측하도록 훈련되어, 자기 운동과 물체 역학 예측이 가능해진다.
• 손실 모델은 높은 예측 오차를 유도하는 행동을 선택함으로써 탐색을 이끌어내어, 지속적으로 에이전트의 행동 및 표현 체계가 확장되는 피드백 루프를 만든다.

실험 결과

연구 질문

• RQ1 내재적 궁금증만으로도 시뮬레이션된 에이전트에서 물체 주의 집중과 수거와 같은 체계적이고 복잡한 행동이 자발적으로 부상할 수 있는가?
• RQ2 궁금증 기반 탐색을 통해 훈련된 월드 모델이 물체 역학 예측 및 국소화와 같은 후행 작업에서 성능 향상에 얼마나 기여하는가?
• RQ3 월드 모델과 적대적 손실 모델 간의 상호작용이 명시적 보상 없이 자기 학습적 발달 단계를 어떻게 이끌어내는가?
• RQ4 물리적으로 기반을 둔 환경에서 궁금증 기반 학습이 자율적으로 자기 운동 예측 및 물체 영속성 행동을 유도할 수 있는가?
• RQ5 대규모 데이터셋에 대한 사전 훈련이 없는 것이 인공 에이전트의 더 자연스럽고 발달 유사 학습을 방해하는가, 아니면 오히려 가능하게 하는가?

주요 결과

• 에이전트는 내재적 탐색을 통해 자율적으로 자기 운동 예측 능력을 발달시키며, 자기 운동으로 인한 시각 분야의 변화를 예측하게 된다.
• 에이전트는 명시적 물체 탐지나 인식 모듈이 없음에도 불구하고 물체에 주의를 기울이고 국소화하는 것을 학습한다.
• 여러 개의 물체가 존재할 경우, 에이전트는 그들을 상호작용 범위로 모으는 행동을 학습하여, 명시적 보상 설계 없이도 목표 지향적 행동을 보인다.
• 궁금증 기반 탐색을 통해 훈련된 월드 모델은 내재 학습 목표에 포함되지 않았음에도 불구하고 물체 역학 예측 및 국소화와 같은 후행 작업에서 성능 향상을 보인다.
• 이 시스템은 ImageNet 등 대규모 시각 데이터셋에 대한 사전 훈련 없이도 작동하여, 상호작용을 통한 자기 학습 시각 표현 학습의 가능성을 뒷받침한다.
• 에이전트는 월드 모델이 향상되면서 새로운 행동이 부상함에 따라 발달 단계를 거치는 자기 학습적 커리큘럼 형성의 형태를 보인다.