[論文レビュー] Addressing Optimism Bias in Sequence Modeling for Reinforcement Learning

Adam Villaflor, Zhe Huang+3 more|arXiv (Cornell University)|Jul 21, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、行動と状態遷移のための別個の離散的潜在変数VAEを用いて、オフライン強化学習における方針と世界ダイナミクスのモデリングを分離するSeParated Latent Trajectory Transformer (SPLT)を提案する。複数の可能な将来に対する頑健な悲観的計画を可能にすることで、SPLTは確率的自動運転環境においてTransformerベースのベースラインを上回り、CARLA Leaderboardで68.5±3.9のドライブスコアを達成し、自動運転レベルの安全性とタスク完了率を達成した。

ABSTRACT

Impressive results in natural language processing (NLP) based on the Transformer neural network architecture have inspired researchers to explore viewing offline reinforcement learning (RL) as a generic sequence modeling problem. Recent works based on this paradigm have achieved state-of-the-art results in several of the mostly deterministic offline Atari and D4RL benchmarks. However, because these methods jointly model the states and actions as a single sequencing problem, they struggle to disentangle the effects of the policy and world dynamics on the return. Thus, in adversarial or stochastic environments, these methods lead to overly optimistic behavior that can be dangerous in safety-critical systems like autonomous driving. In this work, we propose a method that addresses this optimism bias by explicitly disentangling the policy and world models, which allows us at test time to search for policies that are robust to multiple possible futures in the environment. We demonstrate our method's superior performance on a variety of autonomous driving tasks in simulation.

研究の動機と目的

• 確率的または敵対的環境において、Transformerベースの系列モデルにおける楽観バイアスを是正すること。
• 環境ダイナミクスが多様で、協力的でない可能性がある安全が重要な分野（例：自動運転）における頑健性を向上させること。
• 多様な将来の軌道を探索するが、計算効率を維持するテスト時計画を可能にすること。
• CARLA Leaderboardのような複雑な確率的ベンチマークにおいて、特に結合された状態-行動モデリングに依存する既存の系列モデリング手法を上回ること。
• 方針とダイナミクスモデリングを分離することで、現実世界のシミュレーション環境におけるより信頼性が高く安全な意思決定が可能になることを示すこと。

提案手法

• 本手法は、方針（行動系列）と世界ダイナミクス（状態遷移）のそれぞれに対して、別個の離散的潜在変数変分オートエンコーダ（VAE）を訓練する。
• 方針VAEは、望ましい報酬を条件として行動系列の分離表現を学習し、高報酬行動の探索を可能にする。
• ダイナミクスVAEは、行動と初期状態を関数として用いて状態遷移をモデル化し、多様で確率的な結果を捉える。
• テスト時、両モデルの潜在コードの共同探索により、複数の可能な環境反応に対して頑健な行動系列を特定する。
• 計画プロセスは、可能な将来の状態を最小化する悲観的探索戦略を採用し、協力的または決定論的な結果に過信しない。
• フレームワークはエンドツーエンド微分可能であり、長距離依存性を捉えるためにTransformerの高容量モデリングを活用する。

実験結果

リサーチクエスチョン

• RQ1 系列ベースのオフラインRLにおける方針とダイナミクスモデリングの分離は、確率的環境における楽観バイアスを低減できるか？
• RQ2 方針とダイナミクスの表現を分離することで、複雑で多様な自動運転ベンチマークでの性能にどのような影響を与えるか？
• RQ3 協力的でない、あるいは敵対的な環境設定において、分離された計画メカニズムは、結合モデリング手法と比較してどれほど頑健性を向上させられるか？
• RQ4 本手法は、現実のドライブシミュレーションにおいて、最先端の系列モデリングおよびオフラインRLベースラインを上回る安全性とタスク完了率を達成できるか？
• RQ5 環境行動が完全に協力的でない現実世界に近い確率的シナリオにおいて、本手法は一般化可能か？

主な発見

• SPLTはCARLA Leaderboardで68.5±3.9のドライブスコアを達成し、すべてのTransformerベースのベースラインを上回り、特権付き自動運転システムに近い性能を示した。
• ルート完了率は94.6±7.7%を達成し、BC（95.3±5.4%）やDT(m)（96.2±5.4%）を上回ったが、衝突率（1.9±0.5/km）と違反率（2.3±1.1/km）は低く抑えられた。
• SPLTはTrajectory Transformer（TT）に比べ12.8ポイント高い総合スコアを記録し、TTの単純なビームサーチが非協力的環境で楽観バイアスを示していることが示された。
• IQLでは100%のルート完了率を達成したが、SPLTはより優れた安全性指標と一般化性能を維持しており、分布シフトに対してより頑健であることが示された。
• SPLTは、分離されたモデリングが悲観的計画を効果的に行えることを実証し、協力的環境結果への過信を低減した。
• 結果から、方針とダイナミクスモデリングを分離することで、自動運転のような確率的で安全が重要な環境におけるより信頼性が高く安全な意思決定が可能になることが確認された。