[論文レビュー] SoftGym: Benchmarking Deep Reinforcement Learning for Deformable Object Manipulation

Xingyu Lin, Yufei Wang+2 more|arXiv (Cornell University)|Nov 14, 2020

Reinforcement Learning in Robotics参考文献 53被引用数 68

ひとこと要約

この論文は SoftGym を深層強化学習を用いた変形可能物体操作のベンチマークとして提示し、環境、観察/行動空間、タスクのバリエーション、訓練/評価プロトコル、ベースラインアルゴリズムの結果を詳述する。画像と特徴量観察を水・布・ロープのさまざまなタスクで分析し、SAC、TD3、PlaNet、RIG などの手法を異なる設定で比較する。

ABSTRACT

Manipulating deformable objects has long been a challenge in robotics due to its high dimensional state representation and complex dynamics. Recent success in deep reinforcement learning provides a promising direction for learning to manipulate deformable objects with data driven methods. However, existing reinforcement learning benchmarks only cover tasks with direct state observability and simple low-dimensional dynamics or with relatively simple image-based environments, such as those with rigid objects. In this paper, we present SoftGym, a set of open-source simulated benchmarks for manipulating deformable objects, with a standard OpenAI Gym API and a Python interface for creating new environments. Our benchmark will enable reproducible research in this important area. Further, we evaluate a variety of algorithms on these tasks and highlight challenges for reinforcement learning algorithms, including dealing with a state representation that has a high intrinsic dimensionality and is partially observable. The experiments and analysis indicate the strengths and limitations of existing methods in the context of deformable object manipulation that can help point the way forward for future methods development. Code and videos of the learned policies can be found on our project website.

研究の動機と目的

• 変形可能な物体操作を評価するためのモジュラーで多様なベンチマークを提供する。
• 複数のタスクにわたる画像ベースおよび特徴ベース設定の観察空間と行動空間を説明する。
• 物体の大きさ・形状・物理特性の変化を捉えるタスクのバリエーションを導入する。
• 公正な比較のための訓練/評価パイプラインとベースラインのハイパーパラメータを確立する。

提案手法

• 2つの観察モダリティを定義する（画像 128x128x3 とタスク固有の特徴ベクトル）。
• アクションを [-1,1] に正規化し、タスクごとに環境固有の未正規化レンジを用いる。
• 布/ロープタスクにはピッカーベースのコントローラを、PassWater/PourWater には1Dカップ運動を利用する。
• 環境ごとに事前に 1000 のタスク変 variations; 訓練に 800、評価に 200 を使用する。
• 画像観察（CNNエンコーダ、VAE/RIG の具体仕様）および特徴観察（MLP）の参照ネットワークアーキテクチャを提供する。
• SAC、TD3、PlaNet、RIG の画像/特徴設定に対する詳細なハイパーパラメータを提示する。

実験結果

リサーチクエスチョン

• RQ1 画像ベースの観察と特徴ベースの観察は、変形可能物体タスクにおけるDRLの性能にどのような影響を与えるか？
• RQ2 タスクのバリエーション（サイズ、形状、材料特性）がおよび一般化学習に与える影響はどの程度か？
• RQ3 SAC、TD3、PlaNet、RIG の異なるDRLアルゴリズムは、一定の訓練/評価プロトコル下で SoftGym タスクをどのように比較できるか？
• RQ4 変形可能物体操作の学習を支援する観察とネットワークアーキテクチャは何か？
• RQ5 全状態観察と部分観察の学習効率と性能への影響は何か？

主な発見

• 画像ベースの観察と特徴ベースの観察は、設定ごとに異なる学習特性をもたらす。各設定に対して詳細なアーキテクチャが提供されている。
• RGB 観察を用いた TD3 は、アクション飽和や Q 関数のバイアス問題により多くの実験で学習が不良だった。
• RIG と PlaNet は潜在表現と計画/Her風の手法を用い、高次元観察における計画の課題に対処する。
• 全状態観察は高次元かつ入力の特徴/画像に比べて冗長性が高いため SAC/TD3 の学習性能が低かった。
• 環境間でのロバストな訓練と評価を可能にする、カップのサイズ、ロープのねじり、布のサイズなどの大規模なタスク変 variations が事前に用意されていた。