[논문 리뷰] Active World Model Learning with Progress Curiosity

Kuno Kim, Megumi Sano외 3명|arXiv (Cornell University)|2020. 07. 15.

Reinforcement Learning in Robotics참고 문헌 46인용 수 5

한 줄 요약

이 논문은 3D 가상 환경에서 복잡한 학습 가능한 동역학을 효율적으로 탐색할 수 있도록 하는 γ-Progress를 활용한 새로운 궁금증 기반 활동적 세계 모델 학습(AWML) 프레임워크를 제안한다. γ-Progress는 확장 가능한 학습 진전 기반 궁금증 신호로, 백색 잡음 문제를 해결하고 RND 및 모델 불일치와 같은 최신 탐색 전략보다 뛰어난 세계 모델 학습 성능을 달성한다.

ABSTRACT

World models are self-supervised predictive models of how the world evolves. Humans learn world models by curiously exploring their environment, in the process acquiring compact abstractions of high bandwidth sensory inputs, the ability to plan across long temporal horizons, and an understanding of the behavioral patterns of other agents. In this work, we study how to design such a curiosity-driven Active World Model Learning (AWML) system. To do so, we construct a curious agent building world models while visually exploring a 3D physical environment rich with distillations of representative real-world agents. We propose an AWML system driven by $γ$-Progress: a scalable and effective learning progress-based curiosity signal. We show that $γ$-Progress naturally gives rise to an exploration policy that directs attention to complex but learnable dynamics in a balanced manner, thus overcoming the "white noise problem". As a result, our $γ$-Progress-driven controller achieves significantly higher AWML performance than baseline controllers equipped with state-of-the-art exploration strategies such as Random Network Distillation and Model Disagreement.

연구 동기 및 목표

• 에이전트가 궁금증 기반 탐색을 통해 예측 가능한 세계 모델을 효율적으로 학습할 수 있도록 활동적 세계 모델 학습(AWML) 시스템을 개발하는 것.
• 에이전트가 학습이 불가능한 잡음 자극에 과도하게 집중하는 백색 잡음 문제를 해결함으로써, 복잡하지만 학습 가능한 동역학에 초점을 맞추는 것.
• 궁금증과 활동적 학습을 통합한 강화 학습 프레임워크 내에서 AWML을 체계화하는 것.
• 학습 가능한 행동적으로 풍부한 동역학, 예를 들어 사회적 상호작용과 같은 요소들에 주목하도록 유도하는 확장 가능하고 효과적인 궁금증 신호인 γ-Progress를 설계하는 것.
• 정적, 주기적, 잡음 유사, 사회적 에이전트(예: 페케보, 모방)를 포함한 다양한 행동을 보이는 3D 가상 환경에서 시스템을 평가하는 것.

제안 방법

• 저자는 정적, 주기적, 잡음 유사, 사회적 상호작용(예: 페케보, 추격, 모방 등)을 보이는 에이전트를 포함한 3D 가상 환경을 구축한다.
• 에이전트가 미래 상태를 행동 조건부로 예측함으로써 세계 모델을 학습하는 강화 학습 문제로 AWML을 체계화한다.
• γ-Progress를 도입한다. 이는 세계 모델의 학습 진전률에 기반한 새로운 궁금증 신호로, 예측 오차의 시간적 변화로 계산된다.
• γ-Progress는 확장 가능하고 효과적이며, 학습이 가능한 복잡한 동역학으로의 탐색을 장려함으로써 학습이 불가능한 잡음으로부터의 탐색을 피한다.
• 에이전트의 탐색 정책은 γ-Progress를 내재 보상으로 사용하여 다양한 자극에 대한 주의를 균형 있게 배분하고 정보성 높은 상호작용을 우선시하도록 훈련된다.
• 세계 모델 예측 정확도(특히 외부 에이전트에 대해)를 사용하여 성능을 평가하고, 주의 분배 패턴을 분석하여 학습 효율성을 평가한다.

실험 결과

연구 질문

• RQ1 궁금증 기반 탐색 정책은 다수의 에이전트가 존재하는 풍부한 환경에서 학습 가능한 복잡한 동역학을 학습이 불가능한 잡음 자극보다 효과적으로 우선시할 수 있는가?
• RQ2 γ-Progress가 RND 및 모델 불일치와 같은 기존 최신 탐색 전략보다 세계 모델 학습에서 뛰어난 성능을 보일 수 있는가?
• RQ3 γ-Progress는 활동적 세계 모델 학습에서 백색 잡음 문제를 어느 정도 해결하는가?
• RQ4 초기 주의 패턴(예: 유영적 대상 vs. 비유영적 대상)은 최종 세계 모델 성능을 예측할 수 있는가?
• RQ5 AWML 프레임워크는 초기 인간 발달에서 내재된 동기의 계산 모델로 기능할 수 있는가? 특히 사회적 주의와 학습 측면에서.

주요 결과

• γ-Progress 기반 에이전트는 RND 및 모델 불일치를 사용하는 베이스라인 제어기보다 뚜렷이 높은 세계 모델 학습 성능을 달성한다.
• γ-Progress는 사회적 상호작용과 같은 학습 가능한 복잡한 동역학으로의 주의를 향유함으로써 백색 잡음 문제를 효과적으로 해결한다. 이는 랜덤하거나 주기적인 자극에 대한 주의를 피하는 데 기여한다.
• 유영적 대상과 비유영적 대상 간의 주의 차이가 최종 성능과 강하게 상관되며, 유영적 대상에 대한 초기 주의가 이후 세계 모델 정확도의 강력한 예측자로 작용한다.
• γ-Progress 기반의 초기 주의 차이 지표 모델은 최종 성능을 예측하는 데 직접적인 성능 기반 예측자보다 뛰어난 성능을 보이며, 이는 주의 분배가 학습 효율성의 핵심 메커니즘임을 시사한다.
• 모델의 주의 패턴과 학습 곡선은 인간 유아의 발달 시간곡선과 유사하며, 내재된 동기 기반 학습과 발달 변동성(예: 자폐 스펙트럼 장애 포함)을 모델링할 잠재력을 보여준다.
• 이 프레임워크는 학습 진전 기반 궁금증 신호가 사회적 주의 발달의 계산적 기반으로 기능할 수 있음을 입증하며, 발달 장애의 조기 진단 도구에 대한 함의를 지닌다.