[論文レビュー] Adversarial Model for Offline Reinforcement Learning

Mohak Bhardwaj, Tengyang Xie+3 more|arXiv (Cornell University)|Feb 21, 2023

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

ARMORは、データカバレッジにかかわらず、任意の参照方策の性能を低下させることなく、強力に改善する、新しいモデルベースのオフライン強化学習フレームワークである。マルコフ決定過程（MDP）モデルを敵対的に訓練することで、参照方策に対するロバストな方策改善（RPI）を達成し、D4RLベンチマークで最先端の性能を発揮する。モデルフリーおよびモデルベースのベースラインを上回る性能を発揮する。

ABSTRACT

We propose a novel model-based offline Reinforcement Learning (RL) framework, called Adversarial Model for Offline Reinforcement Learning (ARMOR), which can robustly learn policies to improve upon an arbitrary reference policy regardless of data coverage. ARMOR is designed to optimize policies for the worst-case performance relative to the reference policy through adversarially training a Markov decision process model. In theory, we prove that ARMOR, with a well-tuned hyperparameter, can compete with the best policy within data coverage when the reference policy is supported by the data. At the same time, ARMOR is robust to hyperparameter choices: the policy learned by ARMOR, with "any" admissible hyperparameter, would never degrade the performance of the reference policy, even when the reference policy is not covered by the dataset. To validate these properties in practice, we design a scalable implementation of ARMOR, which by adversarial training, can optimize policies without using model ensembles in contrast to typical model-based methods. We show that ARMOR achieves competent performance with both state-of-the-art offline model-free and model-based RL algorithms and can robustly improve the reference policy over various hyperparameter choices.

研究の動機と目的

• データカバレッジが不十分な状況でも、事前に存在する参照方策の性能が低下するのを防ぐこと。特に、参照方策がデータセットに含まれていない場合に有効であるようにすること。
• 行動方策との比較にとどまらず、任意の参照方策に対するロバストな方策改善（RPI）を拡張し、その保証を可能にすること。
• モデルアンサンブルを回避しながらも、高い性能とロバスト性を維持する、スケーラブルな単一モデルベースの実装を設計すること。
• 参照方策がデータに存在しない場合を含め、多様な環境およびハイパーパrameter選択において、ARMORが一貫して参照方策を改善できることを検証すること。

提案手法

• ARMORは、参照方策に対する最悪ケース性能を模擬するために、マルコフ決定過程（MDP）モデルを敵対的に訓練する。
• モデルベースのロールアウトを用いて、方策と参照方策の間の推定性能差を最小化することで、方策とMDPモデルを同時に最適化する。
• ハイパーパramータ β を用いて相対的悲観主義を組み込み、性能向上とロバスト性のトレードオフを制御する。
• 方策が参照方策に近い初期化を保証するために、残差方策初期化を用いることで、安定性とRPIの向上を図る。
• モデルアンサンブルを必要としない、エンドツーエンドのディープラーニングベースの実装を採用する。
• λ=0 かつ β>0 の場合、一般化された状態で模倣学習を実現でき、性能保証付きの行動コーディングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 データセットに含まれない参照方策に対しても、任意の参照方策に対する性能向上を保証できるオフライン強化学習アルゴリズムは存在するか？
• RQ2 敵対的MDP訓練により、データカバレッジに依存せず、参照方策に対するロバストな方策改善（RPI）が可能になるか？
• RQ3 ARMORは、ハイパーパramータの選択にかかわらず、D4RLベンチマークで最先端の性能を達成できるか？
• RQ4 分布シフト下で、残差方策初期化は行動コーディング初期化と比較して、RPIの維持にどのように寄与するか？
• RQ5 参照方策がエキスパートのデモである場合、ARMORはエキスパート水準の性能を回復できるか？

主な発見

• ARMORは、テストした全ハイパーパramータ β に対してロバストな方策改善（RPI）を達成し、参照方策がデータに含まれていない場合でも、学習済方策が参照方策を劣化させないことを保証する。
• 適切にチューニングされた β を用いることで、参照方策がデータに含まれる場合、ARMORはデータカバレッジ内での最良方策と競合可能な性能を達成する。
• D4RLのロケモーションおよびマニピュレーションタスクにおいて、ARMORはモデルフリーおよびモデルベースのベースラインを上回り、最先端の性能を達成する。
• 残差方策初期化は、全環境で一貫してRPIを実現するが、行動コーディング初期化では一部のタスクで性能が低下する。
• λ=0 かつ β>0 の場合、ARMORは模倣学習を再現し、エキスパート水準のデータセットではエキスパート性能に一致する。これは、ILへの一般化を確認するものである。
• アブレーションスタディの結果、参照方策がデータに存在しない場合、残差方策の使用がRPIに不可欠であることが示され、行動コーディング初期化ではロバスト性が維持されない。