[論文レビュー] DeepAveragers: Offline Reinforcement Learning by Solving Derived Non-Parametric MDPs

Aayam Shrestha, Stefan Lee+2 more|arXiv (Cornell University)|Oct 18, 2020

Reinforcement Learning in Robotics参考文献 20被引用数 5

ひとこと要約

本論文は、DeepAveragers with Costs MDP (DAC-MDP) を提案する。これは、価値反復を用いた最適計画に向け、静的データセットを表形式MDPに変換する非パrametricなオフライン強化学習フレームワークである。深層表現と、代表度が低い状態に対する懸念に基づくコストを統合することで、アタリのような画像ベースの環境においてスケーラブルでゼロショット適応可能な方策を達成した。これは、このような複雑な設定において最適計画が初めて効果的に適用された事例である。

ABSTRACT

We study an approach to offline reinforcement learning (RL) based on optimally solving finitely-represented MDPs derived from a static dataset of experience. This approach can be applied on top of any learned representation and has the potential to easily support multiple solution objectives as well as zero-shot adjustment to changing environments and goals. Our main contribution is to introduce the Deep Averagers with Costs MDP (DAC-MDP) and to investigate its solutions for offline RL. DAC-MDPs are a non-parametric model that can leverage deep representations and account for limited data by introducing costs for exploiting under-represented parts of the model. In theory, we show conditions that allow for lower-bounding the performance of DAC-MDP solutions. We also investigate the empirical behavior in a number of environments, including those with image-based observations. Overall, the experiments demonstrate that the framework can work in practice and scale to large complex offline RL problems.

研究の動機と目的

• オフライン強化学習における深層表現学習と最適計画の橋渡しを図ること。
• オフライン強化学習におけるモデルの不正確さを、代表度が低い状態遷移に対する懸念を組み込むことで解決すること。
• 原理的で表形式ベースの計画フレームワークを用いて、再訓練なしに新しい目標や環境変化へのゼロショット適応を可能にすること。
• アタリゲームのような大規模・複雑な環境に最適計画をスケーリングすること。
• 特定の条件下で性能の下限保証が得られることを理論的に保証すること。

提案手法

• 静的データセットと学習済みまたはランダムな潜在表現から導出される連続的潜在空間上に、非パrametric MDP（DAC-MDP）を構築する。
• データセットに含まれる一意の状態-行動遷移から、完全な DAC-MDP の核となる有限で表形式の MDP を導出する。
• 導出された表形式 MDP に対して価値反復を適用し、コア状態の最適 Q 関数と方策を計算する。
• 補間を用いてコア Q 関数を完全な連続的潜在空間に拡張し、未観測状態の推論を可能にする。
• データ密度または不確実性推定に基づき、代表度が低い遷移の利用をペナルティ化する懸念コストを導入する。
• GPU で加速された価値反復実装を活用し、数百万状態にまでスケーリング可能にし、アタリのような大規模問題への応用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層表現と限られたデータを用いたオフライン強化学習に、最適計画を効果的に適用できるか？
• RQ2 代表度が低い状態に対する懸念をどのように組み込むことで、オフライン強化学習における汎化性と性能が向上するか？
• RQ3 再訓練なしに新しい目標や環境変化へのゼロショット適応を、原理的で表形式ベースの計画フレームワークが可能か？
• RQ4 DAC-MDP の解が、実環境で近似的に最適に動作することが保証される理論的条件は何か？
• RQ5 画像のような高次元観測空間のような複雑な環境に、このアプローチはスケーリング可能か？

主な発見

• DAC-MDP フレームワークは、オフラインでモデルフリー強化学習から得た単純な潜在表現を用いて、アタリクラスの環境にスケーリング可能であることが実証され、このような設定において最適計画が初めて効果的に適用された。
• 事前に計算された Q 関数と方策を潜在空間上で再利用することで、新しい目標や環境変化へのゼロショット適応が実現された。
• 理論的分析により、DAC-MDP の解が実環境で近似的に最適に動作することが保証される条件が提示された。
• 実験的結果から、懸念に基づくコストが、非懸念ベースのベースラインと比較して低データ領域におけるロバスト性と性能を顕著に向上させた。
• GPU で最適化された価値反復実装により、最大数百万状態の表形式 MDP を効率的に解けるようになり、大規模問題への実用的応用が可能になった。
• 3D ファーストパーソンナビゲーションにおける事例研究により、動的目標や環境シフトの処理においてフレームワークの柔軟性が確認された。