[논문 리뷰] Large-Scale Study of Curiosity-Driven Learning

Yuri Burda, Harri Edwards외 4명|arXiv (Cornell University)|2018. 08. 13.

Psychological and Educational Research Studies참고 문헌 41인용 수 364

한 줄 요약

본 연구는 54개 환경에 걸친 외재적 보상 없이 오로지 내재적 호기심에 의해 이끄는 학습에 대한 대규모 실증 연구를 수행하고, 순방향 동역학의 특징 공간을 비교하며 예측 오차 기반 호기심의 강점과 한계를 강조한다.

ABSTRACT

Reinforcement learning algorithms rely on carefully engineering environment rewards that are extrinsic to the agent. However, annotating each environment with hand-designed, dense rewards is not scalable, motivating the need for developing reward functions that are intrinsic to the agent. Curiosity is a type of intrinsic reward function which uses prediction error as reward signal. In this paper: (a) We perform the first large-scale study of purely curiosity-driven learning, i.e. without any extrinsic rewards, across 54 standard benchmark environments, including the Atari game suite. Our results show surprisingly good performance, and a high degree of alignment between the intrinsic curiosity objective and the hand-designed extrinsic rewards of many game environments. (b) We investigate the effect of using different feature spaces for computing prediction error and show that random features are sufficient for many popular RL game benchmarks, but learned features appear to generalize better (e.g. to novel game levels in Super Mario Bros.). (c) We demonstrate limitations of the prediction-based rewards in stochastic setups. Game-play videos and code are at https://pathak22.github.io/large-scale-curiosity/

연구 동기 및 목표

• 강화학습에서 수작업으로 설계된 외재적 보상의 확장 가능한 대안으로서 내재적 호기심을 고무한다.
• Atari, Mario, 3D 내비게이션 등을 포함한 54개 환경에 걸쳐 호기심 주도 학습을 체계적으로 연구한다.
• 순방향 동역학을 위한 서로 다른 특징 공간이 호기심 기반 탐험에 미치는 영향을 평가한다.
• 외재적 보상 없이 호기심 주도 에이전트의 확장성, 안정성, 일반화를 평가한다.

제안 방법

• 순방향 동역학에서 파생된 r_t = -log p(phi(x_{t+1}) | x_t, a_t) (surprisal)와 같이 동역학 기반의 내재적 보상을 사용한다.
• 관찰치를 임베딩하기 위한 특징 공간 Phi를 비교한다: 원시 픽셀, 임의 특징, 역동학 특징(IDF), 변분 오토인코더(VAE).
• 학습 안정화를 위해 보상 및 어드밴티지 정규화, 관찰 정규화, 다수의 병렬 에이전트, 특징 배치 정규화를 사용하는 PPO를 적용한다.
• 에피소드 종료 신호를 제거하여 무한-탐험 공간에서의 순수한 호기심 주도 탐험을 연구한다.
• Atari, Mario, Roboschool, Unity를 포함한 54개 환경에서 평가하고 새로운 레벨에 대한 일반화를 분석한다.

실험 결과

연구 질문

• RQ1 다양한 환경에서 순수하게 호기심 주도 에이전트가 외재적 보상 없이 의미 있는 행동을 학습할 수 있는가?
• RQ2 다양한 관찰 임베딩 전략(RF, VAE, IDF, Pixels)이 호기심 주도 탐험과 일반화에 어떤 영향을 미치는가?
• RQ3 사람이 설계한 환경에서 호기심 기반 탐험이 외재적 보상과 일치하는가, 그리고 확률적 환경에서의 한계는 무엇인가?
• RQ4 추가 보상 없이 호기심으로 학습된 기술이 새로운 레벨이나 환경으로 얼마나 이전될 수 있는가?

주요 결과

• 호기심 주도 에이전트는 많은 Atari 게임에서 외재적 훈련 보상 없이도 외재적 보상을 얻을 수 있다.
• 무작위 특징이 많은 벤치마크에서 호기심에 대해 간단하고 안정적인 임베딩을 제공하는 경우가 많으며, 학습된 특징은 새로운 레벨(예: Mario)에 더 잘 일반화된다.
• 역동학 특징이 약 55%의 Atari 게임에서 무작위 특징보다 우수하지만, 원시 픽셀은 순방향 동역학에서 성능이 저조하다.
• Mario에서는 배치 크기를 128에서 2048 병렬 스레드로 증가시키면 탐험 성능과 레벨 발견이 크게 향상된다.
• 희박한 보상이나 종료 보상 작업에서 호기심은 extrinsic-only 학습이 진전하지 못하는 상황에서 성능을 향상시킨다.
• 확률적 요인(노이즈 TV)은 호기심을 오도하여 학습을 느리게 만들 수 있지만 일부 사례에서 결국 외재적 보상을 얻는 것을 영구적으로 막지는 않는다.