[论文解读] From Observations to Events: Event-Aware World Model for Reinforcement Learning

Zhao-Han Peng, Shaohui Li+4 more|arXiv (Cornell University)|Jan 27, 2026

Reinforcement Learning in Robotics被引用 0

一句话总结

Introduces the Event-Aware World Model (EAWM) that learns event-based representations from raw observations to improve model-based RL, using an automated Event Generator and a Generic Event Segmentor to predict and leverage discrete events for policy learning.

ABSTRACT

While model-based reinforcement learning (MBRL) improves sample efficiency by learning world models from raw observations, existing methods struggle to generalize across structurally similar scenes and remain vulnerable to spurious variations such as textures or color shifts. From a cognitive science perspective, humans segment continuous sensory streams into discrete events and rely on these key events for decision-making. Motivated by this principle, we propose the Event-Aware World Model (EAWM), a general framework that learns event-aware representations to streamline policy learning without requiring handcrafted labels. EAWM employs an automated event generator to derive events from raw observations and introduces a Generic Event Segmentor (GES) to identify event boundaries, which mark the start and end time of event segments. Through event prediction, the representation space is shaped to capture meaningful spatio-temporal transitions. Beyond this, we present a unified formulation of seemingly distinct world model architectures and show the broad applicability of our methods. Experiments on Atari 100K, Craftax 1M, and DeepMind Control 500K, DMC-GB2 500K demonstrate that EAWM consistently boosts the performance of strong MBRL baselines by 10%-45%, setting new state-of-the-art results across benchmarks. Our code is released at https://github.com/MarquisDarwin/EAWM.

研究动机与目标

• 通过对离散事件建模来提升鲁棒的策略学习，而不仅仅预测原始观测值。
• 提出一个自动化、无标签的事件生成管线和一个边界检测的通用事件分段器（GES）。
• 开发一个统一框架，可以为现有世界模型增添事件感知表示。
• 通过在DreamerV3基础架构的EADream和基于Simulus的EASimulus上的实现，展示广泛的适用性。
• 在基于视觉与多模态任务的标准MBRL基线上显示出一致的性能提升。

提出的方法

• 在统一的世界模型框架内，定义事件感知世界模型（EAWM）架构，联合学习观测和事件预测。
• 引入一个自动化的多模态事件生成器，使用自适应高斯混合模型来处理视觉模态，以及用于序数和名义数据的阈值事件，以产生稀疏且信息丰富的事件流。
• 开发一个通用事件分段器（GES），在没有额外参数的情况下检测事件边界，指导何时让事件预测影响学习。
• 提出事件感知损失，选择性加权与事件相关的预测，并根据事件边界调整观测建模。
• 完全从世界模型产生的想象轨迹中训练行为，策略学习通过使用集成潜在状态的标准RL方法进行。
• 通过将EAWM与DreamerV3和Simulus架构分别集成，提供两个实现：EADream和EASimulus。

实验结果

研究问题

• RQ1 事件基表示是否能在RL中提升世界模型相对于以观测为中心的方法的鲁棒性与泛化能力？
• RQ2 自动事件生成器与边界检测（GES）是否实现无标签、可扩展的事件感知学习，适用于多模态观测？
• RQ3 将事件感知模型与不同世界模型骨干（DreamerV3、Simulus）在不同基准上集成时，性能是否维持或提升？
• RQ4 事件感知损失与GES对MBRL的稳定性和样本效率有何影响？

主要发现

• EAWM在各基准上对强MBRL基线的提升稳定在10%–45%。
• 在DeepMind Control Suite任务上，EADream在50万次交互内达到最先进的结果。
• EADream在DMC-GB2任务上超越DreamerV3并超越SADA，而无需成对的原始和增强图像。
• EASimulus结合EAWM在所报道的任务上达到新纪录，并在MBRL方法中实现了超人类IQM分数。
• 消融研究表明去除事件预测器或GES会降小，观测与事件预测的联合驱动了性能提升。