[論文レビュー] Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning

Jianlan Luo, Perry Dong+4 more|arXiv (Cornell University)|Oct 18, 2023

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、状態に応じた行動量子化（SAQ）を提案する。これはVQ-VAEに基づく手法であり、オフライン強化学習における連続的行動空間の離散化を可能にし、ポリシー制約および保守性正則化子の正確な計算を実現する。SAQは、Robomimicにおける長時間スケールのロボット操作タスクで、連続的行動の対応手法や既存のオフラインRL手法を上回り、2–3倍の性能向上を達成する。

ABSTRACT

The offline reinforcement learning (RL) paradigm provides a general recipe to convert static behavior datasets into policies that can perform better than the policy that collected the data. While policy constraints, conservatism, and other methods for mitigating distributional shifts have made offline reinforcement learning more effective, the continuous action setting often necessitates various approximations for applying these techniques. Many of these challenges are greatly alleviated in discrete action settings, where offline RL constraints and regularizers can often be computed more precisely or even exactly. In this paper, we propose an adaptive scheme for action quantization. We use a VQ-VAE to learn state-conditioned action quantization, avoiding the exponential blowup that comes with naïve discretization of the action space. We show that several state-of-the-art offline RL methods such as IQL, CQL, and BRAC improve in performance on benchmarks when combined with our proposed discretization scheme. We further validate our approach on a set of challenging long-horizon complex robotic manipulation tasks in the Robomimic environment, where our discretized offline RL algorithms are able to improve upon their continuous counterparts by 2-3x. Our project page is at https://saqrl.github.io/

研究の動機と目的

• 連続的行動オフラインRLにおける分布シフトと過剰推定の問題を解消するため、ポリシー制約および保守性正則化子の正確な実装を可能にする。
• 単純な行動離散化による指数的複雑性の増大を克服しつつ、適応的かつ状態依存の量子化により精度を保持する。
• ロボット学習で一般的な狭い専門的デモンストレーションデータセットにおける、サンプル効率および性能の向上を図る。
• 連続的行動の近似を離散的行動計算に置き換えることで、オフラインRLの訓練を単純化・安定化する。
• 連続的オフラインRLが失敗するような、挑戦的な長時間スケールのロボット操作タスクにおける手法の有効性を検証する。

提案手法

• 状態に応じたコードブックを学習するVQ-VAEを用い、状態から離散的行動埋め込みへマッピングすることで、適応的行動量子化を実現する。
• 状態に依存する形で行動を離散化し、各状態に関連する分布内の行動プリミティブのみを学習する。
• 離散化された行動空間を、IQL、CQL、BRACの3つの最先端オフラインRLアルゴリズムに適用し、ポリシー制約および保守的価値関数の正確な計算を可能にする。
• 行動デモンストレーションデータ上でVQ-VAEを訓練することで、指数的爆発を回避する、タスクに適したコンパクトな行動コードブックを学習する。
• 学習済みコードブックを用いて、連続的行動を置き換え、近似誤差のない正確で安定した訓練を可能にする。
• 2段階の訓練プロセスを採用する：まずデモンストレーションデータ上でVQ-VAEを事前学習し、次に離散的行動空間でRLポリシーを微調整する。

Figure 1: Left : Training SAQ. Right : Discrete policy training/evaluation with SAQ. SAQ learns a scalar discrete representation of continuous actions using state-conditioned VQ-VAE. During policy training and evaluation time, we use the decoder of SAQ to reconstruct the continuous actions from the

実験結果

リサーチクエスチョン

• RQ1 状態に応じた行動量子化は、狭い専門的デモンストレーションデータセットにおけるオフラインRLアルゴリズムの性能を向上させることができるか？
• RQ2 離散的行動空間は、保守性およびポリシー制約の正確な計算を可能にし、連続的行動設定における近似誤差を低減するか？
• RQ3 SAQは長時間スケールのロボット操作タスクにおいて、連続的行動オフラインRLと比較して優れているか？
• RQ4 SAQは、Robomimicのような挑戦的なロボット環境において、インスティレーション学習のベースラインを上回るオフラインRLを可能にするか？
• RQ5 適応的かつ状態依存の離散化は、サンプル効率および訓練安定性にどのような影響を与えるか？

主な発見

• SAQは、Robomimic環境における長時間スケールのロボット操作タスクで、連続的行動オフラインRL手法と比較して性能を2–3倍向上させる。
• Robomimicの熟練した人間デモデータセットにおいて、SAQ-IQLは持ち上げタスクで90.8%の成功率を達成し、連続的IQLベースラインの58%を上回る。
• SAQ-CQLは持ち上げタスクで92.7%の成功率を達成し、連続的CQLの64.2%を著しく上回る。
• 輸送タスクでは、SAQ-BCが66.4%の成功率を達成し、連続的BCベースラインの31.73%を上回る。
• すべてのRobomimicタスクにおける平均成功率は、SAQ-BCの41.71%から、元のRobomimic BCベースラインの64.12%に向上し、SAQの優れた一般化能力を示している。
• 本手法により、保守性およびポリシー制約の正確な実装が可能となり、連続的行動設定で一般的な近似誤差が解消された。

Figure 2: Left : visualization of the maze2d environment. Middle : the average return of SAQ-CQL and continuous CQL over the course of offline training. Right : estimated and exact CQL conservatism penalty values. The estimated conservative penalty for continuous-action CQL diverges significantly fr