[論文レビュー] You Can't Count on Luck: Why Decision Transformers and RvS Fail in Stochastic Environments

Keiran Paster, Sheila A. McIlraith+1 more|arXiv (Cornell University)|May 31, 2022

Reinforcement Learning in Robotics被引用数 8

ひとこと要約

本論文は、確率的環境における意思決定トランスフォーマーとRvS（強化学習 via 監督学習）の重大な失敗モードを特定し、高得点が最適行動ではなく運の良さによるものである場合を想定している。著者らは、環境の確率的要因に依存しない表現—特にクラスタ平均得点—に条件づけることで、敵対的学習を用いて目標得点と実際の得点の整合性を向上させるESPERを提案した。この手法により、確率的オフライン強化学習ベンチマークで最先端の性能を達成した。

ABSTRACT

Recently, methods such as Decision Transformer that reduce reinforcement learning to a prediction task and solve it via supervised learning (RvS) have become popular due to their simplicity, robustness to hyperparameters, and strong overall performance on offline RL tasks. However, simply conditioning a probabilistic model on a desired return and taking the predicted action can fail dramatically in stochastic environments since trajectories that result in a return may have only achieved that return due to luck. In this work, we describe the limitations of RvS approaches in stochastic environments and propose a solution. Rather than simply conditioning on the return of a single trajectory as is standard practice, our proposed method, ESPER, learns to cluster trajectories and conditions on average cluster returns, which are independent from environment stochasticity. Doing so allows ESPER to achieve strong alignment between target return and expected performance in real environments. We demonstrate this in several challenging stochastic offline-RL tasks including the challenging puzzle game 2048, and Connect Four playing against a stochastic opponent. In all tested domains, ESPER achieves significantly better alignment between the target return and achieved return than simply conditioning on returns. ESPER also achieves higher maximum performance than even the value-based baselines.

研究の動機と目的

• RvS風のエージェント（例：意思決定トランスフォーマー）が決定論的環境では優れた性能を示すが、確率的環境ではなぜ失敗するのかを特定すること。
• 軌道得点に条件づけることにより、確率的ダイナミクスにおいて最適行動と運が混同されてしまうという根本的問題に対処すること。
• 環境の確率的要因に依存しない得点推定に条件づける方法を開発し、信頼性の高いポリシー学習を保証すること。
• 標準的なRvSが失敗する、新しい挑戦的な確率的オフライン強化学習ベンチマーク上でこのアプローチを検証すること。
• ESPESがRvSエージェントおよび強力な価値ベースのベースライン（例：CQL）を上回ることを示すこと。

提案手法

• ESPERは敵対的学習を用いて、行動依存の統計と環境由来の確率的要因を分離する軌道表現を学習する。
• 行動シーケンスに基づいて軌道をクラスタリングし、各クラスタの平均得点を計算し、個々の軌道得点の代わりにこれを条件づけ信号として用いる。
• 学習された軌道表現が環境の確率的要因に依存しないことを保証するため、敵対的損失を採用する。
• 状態とクラスタ平均得点に条件づけて行動を予測するようにモデルを訓練し、確率的環境における頑健な意思決定を可能にする。
• エンドツーエンド微分可能でスケーラブルであり、明示的な因果推論を必要としない深層学習アーキテクチャを活用する。
• 動的モデルを用いて敵対的クラスタリングを支援し、表現がエージェントが制御可能な行動パターンを反映していることを保証する。

実験結果

リサーチクエスチョン

• RQ1 意思決定トランスフォーマーやRvSエージェントは、決定論的ベンチマークでは優れた性能を示すが、なぜ確率的環境では失敗するのか？
• RQ2 RvSに環境の確率的要因に依存しない条件づけ信号を特定でき、ポリシー学習により信頼性が高まるのか？
• RQ3 行動シーケンスから推定されたクラスタ平均得点に条件づけることで、確率的環境における目標得点と実際の期待得点の整合性が向上するのか？
• RQ4 確率的不変な表現に条件づけるモデルは、挑戦的な確率的オフライン強化学習タスクにおいて、標準的なRvSおよび価値ベース手法を上回る性能を発揮できるのか？
• RQ5 提案手法は、部分的に観測可能な環境や高分散ドメインを含む多様な確率的環境においても頑健であるのか？

主な発見

• 確率的環境において、目標得点と期待されるパフォーマンスの整合性が、得点に条件づけられたRvSエージェントよりも、ESPESが顕著に優れている。
• 2048パズルゲームと確率的相手とのConnect Four対戦において、ESPESは最大に近いパフォーマンスを達成し、CQLなどの強力な価値ベースベースラインでさえも上回った。
• ギャンブル環境では、RvSエージェントが運による好結果に引きずられ、非最適な行動を選びがちであるが、ESPESは正の得点を保証する最適な行動（a2）を正しく特定した。
• ESPESにおける敵対的クラスタリングは、環境の確率的要因に依存しない表現を効果的に学習し、信頼性の高いポリシー一般化を可能にした。
• 無限のデータを用いても、得点に条件づけられたRvSモデルは確率的設定で失敗し続け、データスケールだけでは根本的問題を解決できないことを示した。
• ESPESは、環境の確率的要因に依存しない結果（例：行動クラスタごとの平均得点）に条件づけることで、現実の確率的タスクにおいて頑健かつ最適な意思決定が可能であることを示した。