[論文レビュー] DARA: Dynamics-Aware Reward Augmentation in Offline Reinforcement Learning

Jinxin Liu, Hongyin Zhang+1 more|arXiv (Cornell University)|Mar 13, 2022

Reinforcement Learning in Robotics被引用数 8

ひとこと要約

DARAは、異なるダイナミクスを持つソースデータを活用することで、大きなターゲットオフラインデータセットへの依存を軽減する、ダイナミクスに配慮した報酬増幅フレームワークを提案する。状態-行動-次状態の分布に基づいて、ターゲット環境で起こりにくい遷移をペナルティ化することで報酬を修正し、最小限のターゲットデータでも高い性能を達成する。シミュレーションおよび現実世界のタスクにおいて、先行手法を上回る性能を発揮する。

ABSTRACT

Offline reinforcement learning algorithms promise to be applicable in settings where a fixed dataset is available and no new experience can be acquired. However, such formulation is inevitably offline-data-hungry and, in practice, collecting a large offline dataset for one specific task over one specific environment is also costly and laborious. In this paper, we thus 1) formulate the offline dynamics adaptation by using (source) offline data collected from another dynamics to relax the requirement for the extensive (target) offline data, 2) characterize the dynamics shift problem in which prior offline methods do not scale well, and 3) derive a simple dynamics-aware reward augmentation (DARA) framework from both model-free and model-based offline settings. Specifically, DARA emphasizes learning from those source transition pairs that are adaptive for the target environment and mitigates the offline dynamics shift by characterizing state-action-next-state pairs instead of the typical state-action distribution sketched by prior offline RL methods. The experimental evaluation demonstrates that DARA, by augmenting rewards in the source offline dataset, can acquire an adaptive policy for the target environment and yet significantly reduce the requirement of target offline data. With only modest amounts of target offline data, our performance consistently outperforms the prior offline RL methods in both simulated and real-world tasks.

研究の動機と目的

• 大きなターゲットオフラインデータセットへの依存を低減することで、オフライン強化学習における高いデータ要件を緩和すること。
• ソース環境とターゲット環境の間で遷移ダイナミクスが異なる「ダイナミクスシフト問題」を特定・緩和すること。これは、先行するオフライン強化学習手法でしばしば無視されている。
• 既存のモデルフリーおよびモデルベースのオフライン強化学習アルゴリズムに容易に統合可能な、汎用的でシンプルなフレームワークを開発すること。
• わずかな量のターゲットデータのみを用いて、異なるダイナミクスを持つソース環境からターゲット環境への有効なポリシー転送を可能にすること。

提案手法

• DARAは、状態-行動-次状態の三つ組みのダイナミクスに配慮したモデリングに基づき、ターゲット環境で起こりにくいと予想される遷移に対してペナルティを課す報酬増幅メカニズムを導入する。
• 状態-行動ペアの下での次状態の条件付き分布をモデル化し、ソース環境では妥当だがターゲット環境では不適切な遷移を特定・抑制する。
• 訓練中に報酬信号を修正することで、こうした不一致した遷移からの学習を抑制し、結果としてソースデータをターゲットのダイナミクスに適合させる。
• モデルフリーおよびモデルベースの両方のオフライン強化学習アルゴリズムと互換性があり、データローダーへの最小限のコード変更で実装可能である。
• ソースとターゲットのダイナミクスの乖離を定量化するダイナミクスに配慮した損失項を用い、報酬形状の指針とする。
• MuJoCoタスクにおけるダイナミクスシフトと、シミュレーションおよび現実世界の12自由度四足歩行ロボットにおける新しいベンチマークで評価されている。

実験結果

リサーチクエスチョン

• RQ1 異なるダイナミクスを持つソースデータを活用することで、最小限のターゲットオフラインデータを用いてオフライン強化学習の性能を著しく向上させられるか？
• RQ2 オフライン強化学習において、ソースとターゲット環境間のダイナミクスシフトを明示的にモデリングし、緩和できるか？
• RQ3 状態-行動-次状態の分布に基づく報酬増幅は、異なるダイナミクスを持つ環境間でのポリシー一般化をどの程度向上させるか？
• RQ4 提案されたDARAフレームワークは、実世界のロボットタスクを含む多様な環境においても性能向上を維持できるか？
• RQ5 DARAは、アーキテクチャの変更なしに、既存のモデルフリーおよびモデルベースのオフライン強化学習アルゴリズムにスムーズに統合できるか？

主な発見

• 標準的なターゲットオフラインデータの10％（1T）のみを用いても、DARAベースの手法はD4RLのWalker2d環境でベースラインを上回り、正規化スコア53.8を達成した。これは、2番目に良いベースラインの44.6を大きく上回る。
• ジョイントノイズシフトを伴うHopper環境でも、DARAは1Tデータで正規化スコア111.0を達成し、ベースラインのMOPO（98.7）および他の手法を顕著に上回った。
• 実世界の四足歩行ロボットタスクでは、DARAがわずかなターゲットデータのみを用いても強力なポリシー転送を実現し、シミュレーションをはるかに超える頑健性を示した。
• 質量変更やジョイントノイズを含むさまざまなダイナミクスシフト下でも、D4RLの全タスク（Walker2d、Hopper、HalfCheetah）において一貫して性能向上を達成した。
• ターゲットデータが限られる状況でも性能劣化を低減した。これは、ダイナミクスに配慮した報酬形状がダイナミクスシフトに起因する悪影響を効果的に緩和していることを示している。
• 最小限のターゲットデータでも、シミュレーションおよび実世界の両タスクで最先端の結果を達成し、DARAの有効性と一般化能力を確認した。