[논문 리뷰] From Observations to Events: Event-Aware World Model for Reinforcement Learning

Zhao-Han Peng, Shaohui Li외 4명|arXiv (Cornell University)|2026. 01. 27.

Reinforcement Learning in Robotics인용 수 0

한 줄 요약

이벤트 기반 세계 모델(EAWM)을 소개합니다. 원시 관찰로부터 이벤트 기반 표현을 학습하여 모델 기반 강화학습을 개선하고, 자동화된 이벤트 생성기와 일반 이벤트 세그먼트러(GES)를 사용해 정책 학습을 위해 이산 이벤트를 예측하고 활용합니다.

ABSTRACT

While model-based reinforcement learning (MBRL) improves sample efficiency by learning world models from raw observations, existing methods struggle to generalize across structurally similar scenes and remain vulnerable to spurious variations such as textures or color shifts. From a cognitive science perspective, humans segment continuous sensory streams into discrete events and rely on these key events for decision-making. Motivated by this principle, we propose the Event-Aware World Model (EAWM), a general framework that learns event-aware representations to streamline policy learning without requiring handcrafted labels. EAWM employs an automated event generator to derive events from raw observations and introduces a Generic Event Segmentor (GES) to identify event boundaries, which mark the start and end time of event segments. Through event prediction, the representation space is shaped to capture meaningful spatio-temporal transitions. Beyond this, we present a unified formulation of seemingly distinct world model architectures and show the broad applicability of our methods. Experiments on Atari 100K, Craftax 1M, and DeepMind Control 500K, DMC-GB2 500K demonstrate that EAWM consistently boosts the performance of strong MBRL baselines by 10%-45%, setting new state-of-the-art results across benchmarks. Our code is released at https://github.com/MarquisDarwin/EAWM.

연구 동기 및 목표

• 원시 관찰값을 단순히 예측하는 것에 국한하지 않고 이산 이벤트를 모델링함으로써 강건한 정책 학습을 촉진한다.
• 레이블이 필요 없는 자동화된 이벤트 생성 파이프라인과 경계 탐지자(Generic Event Segmentor, GES)를 제안한다.
• 기존의 월드 모델에 이벤트 인지 표현을 보강할 수 있는 통합 프레임워크를 개발한다.
• DreamerV3 기반(EADream) 및 Simulus 기반(EASimulus) 아키텍처의 구현을 통해 광범위한 적용성을 시연한다.
• 비전 기반 및 다중 모달 작업에서 표준 MBRL 벤치마크에 걸쳐 일관된 성능 향상을 보여준다.

제안 방법

• 통합 월드-모델 프레임워크 내에서 관찰 및 이벤트 예측을 공동으로 학습하는 Event-Aware World Model(EAWM) 아키텍처를 정의한다.
• 시각적 모달리티에는 적응형 가우시안 혼합 모델을, 서수 및 명목 데이터에는 임계값 기반 이벤트를 사용하여 희소하고 정보성 있는 이벤트 스트림을 생성하는 자동화된 다중 모달 이벤트 제네레이터를 도입한다.
• 추가 매개변수 없이 이벤트 경계를 탐지하는 Generic Event Segmentor(GES)를 개발하여 언제 이벤트 예측이 학습에 영향을 주어야 하는지 안내한다.
• 이벤트 인지 손실을 공식화하여 이벤트 관련 예측에 선택적으로 가중치를 두고 이벤트 경계에 따라 관찰 모델링을 조정한다.
• 월드 모델이 생성한 상상된 궤적에서 완전히 행동을 학습시키고, 정책 학습은 통합 잠재 상태를 사용한 표준 RL 방법으로 수행한다.
• EAWM을 DreamerV3 및 Simulus 아키텍처와 각각 통합하여 두 가지 구현체인 EADream 및 EASimulus를 제공한다.

실험 결과

연구 질문

• RQ1 관찰 중심 접근법과 비교하여 이벤트 기반 표현이 RL에서 월드 모델의 강인성과 일반화를 향상시킬 수 있는가?
• RQ2 자동화된 이벤트 제네레이터와 경계 탐지(GES)가 다중 모달 관찰에 걸쳐 라벨이 필요 없는 확장 가능한 이벤트 인지 학습을 가능하게 하는가?
• RQ3 DreamerV3, Simulus와 같은 다양한 월드-모델 백본에 통합될 때 이벤트 인식 모델이 서로 다른 벤치마크에서 성능을 유지하거나 향상시키는가?
• RQ4 MBRL에서 이벤트 인지 손실과 GES가 안정성 및 샘플 효율성에 미치는 영향은 무엇인가?

주요 결과

• EAWM은 벤치마크 전반에 걸쳐 강력한 MBRL 베이스라인의 성능을 10%–45% 향상시킨다.
• EADream은 50만 상호작용 이하에서 DeepMind Control Suite 태스크에서 최첨단 결과를 달성한다.
• EADream은 DreamerV3를 능가하고 DMC-GB2에서 SADA를 능가하되 원본 이미지와 증강된 이미지의 쌍을 필요로 하지 않는다.
• EASimulus가 적용된 EAWM은 새로운 기록을 세우고 보고된 태스크에서 MBRL 방법들 중 슈퍼휴먼 IQM 점수를 달성한다.
• 추적 제거가 성능 저하를 초래하고, 관찰 예측과 이벤트 예측의 공동 학습이 이득을 주도한다.