[論文レビュー] From Observations to Events: Event-Aware World Model for Reinforcement Learning

Zhao-Han Peng, Shaohui Li+4 more|arXiv (Cornell University)|Jan 27, 2026

Reinforcement Learning in Robotics被引用数 0

ひとこと要約

イベントベースの表現を raw 観測から学習し、イベント生成器と汎用イベントセグメンターを用いて離散イベントを予測・活用することで、モデルベースRLのサンプル効率を向上させる。

ABSTRACT

While model-based reinforcement learning (MBRL) improves sample efficiency by learning world models from raw observations, existing methods struggle to generalize across structurally similar scenes and remain vulnerable to spurious variations such as textures or color shifts. From a cognitive science perspective, humans segment continuous sensory streams into discrete events and rely on these key events for decision-making. Motivated by this principle, we propose the Event-Aware World Model (EAWM), a general framework that learns event-aware representations to streamline policy learning without requiring handcrafted labels. EAWM employs an automated event generator to derive events from raw observations and introduces a Generic Event Segmentor (GES) to identify event boundaries, which mark the start and end time of event segments. Through event prediction, the representation space is shaped to capture meaningful spatio-temporal transitions. Beyond this, we present a unified formulation of seemingly distinct world model architectures and show the broad applicability of our methods. Experiments on Atari 100K, Craftax 1M, and DeepMind Control 500K, DMC-GB2 500K demonstrate that EAWM consistently boosts the performance of strong MBRL baselines by 10%-45%, setting new state-of-the-art results across benchmarks. Our code is released at https://github.com/MarquisDarwin/EAWM.

研究の動機と目的

• 離散イベントをモデル化することで、単に生観測を予測するだけでなく、ロバストな方策学習を促進する。
• 自動化されたラベルレスのイベント生成パイプラインと境界検出型の汎用イベントセグメンター（GES）を提案する。
• イベント認識表現を組み込んだ既存の世界モデルを強化できる統一的なフレームワークを開発する。
• DreamerV3 系（EADream）と Simulus 系（EASimulus）のアーキテクチャへ実装することで、広い適用性を示す。
• 視覚ベースおよびマルチモーダルタスクを含む標準MBRLベンチマークで一貫した性能向上を示す。

提案手法

• イベント認識型世界モデル（EAWM）アーキテクチャを定義し、統一された世界モデルフレームワーク内で観測予測とイベント予測を共同学習する。
• 自動化されたマルチモーダルイベント生成器を導入し、視覚モダリティには適応的ガウス混合モデル、序数・名義データには閾値ベースのイベントを用いて、まばらで有用なイベントストリームを生成する。
• 追加パラメータなしでイベント境界を検出する汎用イベントセグメンター（GES）を開発し、イベント予測が学習に影響を与えるべき時を指示する。
• イベント認識の損失を定式化し、イベント境界に基づいて観測モデリングを調整しつつ、イベント関連の予測を選択的にウェイト付けする。
• 世界モデルによって生成された imagined 軌道から行動を完全に訓練し、統合潜在状態を用いた標準RL手法で方策学習を行う。
• EAWM を DreamerV3 および Simulus アーキテクチャと統合することで、2つの実装（EADream と EASimulus）を提供する。

実験結果

リサーチクエスチョン

• RQ1 イベントベースの表現は、観測中心のアプローチと比較して世界モデルのロバスト性と一般化能力を向上させるか。
• RQ2 自動イベント生成器と境界検出（GES）は、ラベルフリーでスケーラブルなイベント認識学習をマルチモーダル観測において可能にするか。
• RQ3 異なる世界モデルのバックボーン（DreamerV3、Simulus）と統合した場合、イベント認識モデルはパフォーマンスを維持または向上させるか。
• RQ4 イベント認識の損失とGESがMBRLの安定性とサンプル効率に与える影響はどの程度か？

主な発見

• EAWM は、標準MBRLのベースラインのパフォーマンスをベンチマーク全体で 10%–45% 向上させる。
• EADream は 500K インタラクション未満で DeepMind Control Suite のタスクにおいて最先端の結果を達成。
• EADream は DreamerV3 を上回り、DMC-GB2 では対になった元画像と拡張画像を必要とせず SADA を凌駕した。
• EASimulus with EAWM は新記録を樹立し、報告タスクにおけるMBRL手法の IQM スコアで超人的レベルを達成。
• アブレーションにより、イベント予測機やGES を除去すると性能が低下し、観測予測とイベント予測の結合が利得を生むことが示された。