[논문 리뷰] Mastering Diverse Domains through World Models

Danijar Hafner, Jurgis Pašukonis외 2명|arXiv (Cornell University)|2023. 01. 10.

Machine Learning and Data Classification인용 수 91

한 줄 요약

DreamerV3는 월드 모델과 고정 하이퍼파라미터를 사용하여 Minecraft를 포함한 다양한 도메인을 시각적 및 비시각적 입력에서 마스터하는 일반적이고 확장 가능한 강화 학습 알고리즘이다. 더 큰 모델은 데이터 효율성과 최종 성능을 향상시킨다.

ABSTRACT

Developing a general algorithm that learns to solve tasks across a wide range of applications has been a fundamental challenge in artificial intelligence. Although current reinforcement learning algorithms can be readily applied to tasks similar to what they have been developed for, configuring them for new application domains requires significant human expertise and experimentation. We present DreamerV3, a general algorithm that outperforms specialized methods across over 150 diverse tasks, with a single configuration. Dreamer learns a model of the environment and improves its behavior by imagining future scenarios. Robustness techniques based on normalization, balancing, and transformations enable stable learning across domains. Applied out of the box, Dreamer is the first algorithm to collect diamonds in Minecraft from scratch without human data or curricula. This achievement has been posed as a significant challenge in artificial intelligence that requires exploring farsighted strategies from pixels and sparse rewards in an open world. Our work allows solving challenging control problems without extensive experimentation, making reinforcement learning broadly applicable.

연구 동기 및 목표

• 작업별 튜닝 없이 다양한 도메인을 마스터하는 일반적인 강화 학습 알고리즘을 만들려는 목표.
• 고정된 하이퍼파라미터가 모달리티, 입력, 보상 구조에 걸쳐 견고한 학습을 가능하게 하는지 조사한다.
• 모델 크기가 데이터 효율성과 성능에 어떻게 영향을 미치는지 이해하기 위한 확장성 특성을 검토한다.
• Minecraft에서 다이아몬드를 처음부터 수집하는 것과 같은 어려운 작업을 해결하여 실용적 적용 가능성을 시연한다.
• 비교를 용이하게 하기 위한 광범위한 벤치마크와 공개 학습 곡선을 제공한다.

제안 방법

• 관측치를 이산적 z_t로 인코딩하고 미래 표현, 보상, 연속성을 예측하는 월드 모델(RSSM)을 활용한다.
• 그래디언트 공유 없이 재플레이된 경험으로 학습된 세 가지 네트워크(월드 모델, 크리틱, 액터)를 사용한다.
• 예측, 보상 및 크리틱에 symlog 변환을 적용하여 서로 다른 신호 크기를 가진 도메인 간 학습을 안정화한다.
• KL 밸런싱과 프리 비트와 함께 고정 손실 균형을 도입하고, 고정 하이퍼파라미터로 정책 엔트로피를 안정시키기 위해 큰 보상의 규모를 축소한다.
• 희박한 보상에서의 견고한 학습을 위해 symlog 변환 대상의 twohot 인코딩을 통한 크리틱과 보상 예측기의 이산 회귀 접근법을 채택한다.
• dense 및 sparse 보상 간의 탐색 일관성을 유지하기 위해 백분위수 기반 스케일(S)을 사용하여 액터의 반환을 정규화한다.

Figure 1 : Using the same hyperparameters across all domains, DreamerV3 outperforms specialized model-free and model-based algorithms in a wide range of benchmarks and data-efficiency regimes. Applied out of the box, DreamerV3 also learns to obtain diamonds in the popular video game Minecraft from s

실험 결과

연구 질문

• RQ1 DreamerV3가 연속, 이산, 시각 및 저차원 입력을 가로지르는 고정 하이퍼파라미터로 다양한 도메인을 마스터할 수 있는가?
• RQ2 고정 하이퍼파라미터 체제에서 모델 크기 증가가 최종 성능과 데이터 효율성에 어떤 영향을 미치는가?
• RQ3 DreamerV3를 사용하여 Minecraft에서 인간 데이터나 커리큘럼 없이 처음부터 다이아몬드를 수집하는 것이 가능한가?
• RQ4 새로운 작업에 DreamerV3를 적용하기 위한 확장 동향과 실용 지침은 무엇인가?

주요 결과

• DreamerV3은 고정 하이퍼파라미터를 사용하여 광범위한 도메인에서 특화된 모델-프리와 모델-베이스 알고리즘을 능가한다.
• 이 알고리즘은 바람직한 확장을 보여주며, 더 큰 모델이 더 높은 데이터 효율성과 더 나은 최종 성능을 가져온다.
• DreamerV3는 상태와 이미지에서의 연속 제어, BSuite, Crafter에서 최첨단 성능을 달성한다.
• 인간 데이터나 커리큘럼 없이 Minecraft에서 처음부터 다이아몬드를 수집하는 최초의 알고리즘이다.
• 학습 곡선과 결과가 메서드 간의 투명한 비교를 촉진하기 위해 공개된다.
• 일곱 개 벤치마크에 걸쳐 DreamerV3은 고정 하이퍼파라미터로 학습하며 광범위한 적용 가능성을 보여준다.

(a) Control Suite