[論文レビュー] S4RL: Surprisingly Simple Self-Supervision for Offline Reinforcement Learning

Samarth Sinha, Mandlekar, Ajay+1 more|arXiv (Cornell University)|Mar 10, 2021

Reinforcement Learning in Robotics参考文献 41被引用数 5

ひとこと要約

S4RLは、状態空間のデータ拡張を適用することで、オフライン強化学習におけるQネットワークの関数近似を向上させる、驚くほど単純な自己教師付き手法を提案する。プロプライオセプティブな状態を拡張し、それらを用いてQ値推定を滑らかにすることで、S4RLはD4RL、MetaWorld、RoboSuiteベンチマークにおいて、最先端のオフラインRLアルゴリズムを顕著に上回り、複雑な操作タスクにおいて成功確率を最大3倍まで向上させる。

ABSTRACT

Offline reinforcement learning proposes to learn policies from large collected datasets without interacting with the physical environment. These algorithms have made it possible to learn useful skills from data that can then be deployed in the environment in real-world settings where interactions may be costly or dangerous, such as autonomous driving or factories. However, current algorithms overfit to the dataset they are trained on and exhibit poor out-of-distribution generalization to the environment when deployed. In this paper, we study the effectiveness of performing data augmentations on the state space, and study 7 different augmentation schemes and how they behave with existing offline RL algorithms. We then combine the best data performing augmentation scheme with a state-of-the-art Q-learning technique, and improve the function approximation of the Q-networks by smoothening out the learned state-action space. We experimentally show that using this Surprisingly Simple Self-Supervision technique in RL (S4RL), we significantly improve over the current state-of-the-art algorithms on offline robot learning environments such as MetaWorld [1] and RoboSuite [2,3], and benchmark datasets such as D4RL [4].

研究の動機と目的

• オフライン強化学習における状態空間におけるデータ拡張の有効性を調査すること。
• オフラインRLアルゴリズムにおける過学習および分布外一般化の悪さを緩和すること。
• 自己教師付きの状態拡張を用いてQネットワークの関数近似を改善すること。
• アーキテクチャの変更なしに、既存のオフラインRLアルゴリズムを強化できる汎用的で実装が容易な手法を開発すること。
• D4RL、MetaWorld、RoboSuiteを含む多様なベンチマークで、実世界のロボット政策学習を対象として、手法の評価を行うこと。

提案手法

• オフラインデータセット内の各状態観測に対して、k種類の異なるデータ拡張を適用する。
• 拡張された状態を用いてQ値のターゲットを計算し、状態行動価値関数における局所的な滑らかさを促進する。
• 標準的なQ学習フレームワークに拡張された状態を統合し、特にCQLおよびBRACアルゴリズムに適用する。
• 正規化に基づく拡張（S4RL-𝒩）、MixUp風の補間（S4RL-MixUp）、およびアドバーシャル摂動（S4RL-Adv）を、主な拡張戦略として用いる。
• Qネットワークが状態とその拡張状態に対して一貫したQ値を出力するように学習させ、耐性および一般化性能を向上させる。
• 複数のベンチマークにおける性能比較を通じて、オフラインRLアルゴリズム全体にわたるエンドツーエンドの評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 異なる状態空間のデータ拡張戦略が、オフラインRLアルゴリズムの性能にどのように影響を与えるか？
• RQ2 単純な自己教師付きデータ拡張が、オフラインRLにおけるQネットワークの関数近似を改善できるか？
• RQ3 ピクセルベースや拡張なしのベースラインと比較して、状態ベースの拡張は分布外一般化をどのように向上させるか？
• RQ4 どの拡張戦略が、多様なオフラインRL環境において一貫した性能向上をもたらすか？
• RQ5 提案手法は、CQL や BRAC のような最先端のオフラインRLアルゴリズムと効果的に組み合わせられるか？

主な発見

• アドバーシャル摂動を用いるS4RL-Advは、ファランカロボットやアドリアット環境のような高次元状態空間において、ベースラインCQLエージェントを顕著に上回る。
• D4RLベンチマークでは、S4RL-𝒩およびS4RL-Advが、すべてのタスク（特に「antmaze」のような難易度の高いタスクを含む）でベースラインCQLおよび他の自己教師付き手法を一貫して上回る。
• MetaWorldおよびRoboSuite環境では、同じデータ量を用いても、S4RLはベースラインCQLエージェントに比べて成功確率を約20%向上させる。
• S4RL-Advエージェントは、5つのMetaWorldタスクのうち3つで行動方策を上回り、優れた一般化性能を示している。
• 「pen-human」と「hammer-human」タスクでは、ベースラインCQLエージェントが失敗するのに対し、BRAC+S4RLエージェントは有用なスキルを学習することができ、本手法の耐性の高さを示している。
• ディメンションドロップアウトおよびステートスイッチの拡張は、関節速度などの重要なプロプライオセプティブ情報の損失のため、性能を低下させる。