[論文レビュー] DoorGym: A Scalable Door Opening Environment And Baseline Agent

Yusuke Urakami, Alec Hodgkinson+4 more|arXiv (Cornell University)|Aug 5, 2019

Reinforcement Learning in Robotics参考文献 28被引用数 21

ひとこと要約

この論文では、強化学習を用いた頑健なドア開閉ポリシーの訓練を目的とした、オープンソースでドメインランダマイズされたシミュレーション環境であるDoorGymを紹介する。ドアおよびロボットエージェントの視覚的・物理的特性をランダム化することで、多様なドアタイプや現実世界の状況に対応できるポリシーの一般化を可能にし、シミュレーションで最大95％の成功率を達成するとともに、PPOおよびSACベースラインを用いて現実世界へのゼロショット転送に成功した。

ABSTRACT

In order to practically implement the door opening task, a policy ought to be robust to a wide distribution of door types and environment settings. Reinforcement Learning (RL) with Domain Randomization (DR) is a promising technique to enforce policy generalization, however, there are only a few accessible training environments that are inherently designed to train agents in domain randomized environments. We introduce DoorGym, an open-source door opening simulation framework designed to utilize domain randomization to train a stable policy. We intend for our environment to lie at the intersection of domain transfer, practical tasks, and realism. We also provide baseline Proximal Policy Optimization and Soft Actor-Critic implementations, which achieves success rates between 0% up to 95% for opening various types of doors in this environment. Moreover, the real-world transfer experiment shows the trained policy is able to work in the real world. Environment kit available here: https://github.com/PSVL/DoorGym/

研究の動機と目的

• 多様なドアタイプや環境的条件にわたって通用する一般化可能なドア開閉ポリシーを訓練するという課題に対処すること。
• 実際のロボット操作タスクである現実世界への適用とシミュレーションの間のギャップを、実用的で現実的な設定においてドメインランダマイズを用いて埋めること。
• 複数のロボット設定とドアノブタイプをサポートするスケーラブルでオープンソースのシミュレーションフレームワークを提供すること。
• 再現可能なロボット操作分野の研究を促進するためのベンチマーク環境とベースラインエージェントを確立すること。
• シミュレーションから現実世界のドア開閉タスクへのゼロショットポリシー転送を実証すること。

提案手法

• 著者らは、物理シミュレーションにMuJoCo、レンダリングにUnityを用いて、Gym互換のシミュレーション環境としてDoorGymを開発した。
• ドアノブの種類（丸型、レバー型、引き手型）、視覚テクスチャ、照明、そして摩擦や質量といった物理的特性を含む、重要なパラメータに対してドメインランダマイズを適用した。
• この環境は、フックグリッパー、フロatingグリッパー、および自由度の異なるモバイルマニピュレータを含む、複数のロボット設定をサポートしている。
• 一般化性能を最適化するために、ハイパーパrameterを調整したProximal Policy Optimization (PPO) および Soft Actor-Critic (SAC) をベースライン強化学習アルゴリズムとして実装した。
• カスタムのMuJoCo-Unityプラグインにより、Python APIを通じて高精細な視覚観測とリアルなレンダリングにアクセスできるようにした。
• トレーニングパイプラインには、ドアおよびエージェントの設定をランダムにサンプリングする処理が含まれており、ドアを開けるまでの進行度に基づいた報酬形状が適用されている。

実験結果

リサーチクエスチョン

• RQ1 ドメインランダマイズされたシミュレーションで訓練された1つの強化学習ポリシーが、広範なドアタイプおよび環境的変動に一般化できるか？
• RQ2 ドメインランダマイズは、シミュレーションから現実世界のドア開閉タスクへのゼロショット転送性能をどの程度向上させるか？
• RQ3 固定式 vs. モバイルアームといった異なるロボット設定が、ポリシーの一般化および成功確率に与える影響は何か？
• RQ4 視覚観測の品質（例：RGB vs. ノイズのある視覚）が、ドメインシフトの影響下でのポリシー性能に与える影響は何か？
• RQ5 この複雑で高次元の制御タスクにおいて、PPOとSACはサンプル効率および頑健性の観点でどのように比較されるか？

主な発見

• PPOベースラインは、ドメインランダマイズ下で、さまざまなドアタイプを開ける際に最大95％の成功率を達成した。特に、フックまたはグリッパー・アームを用いた引き手型ノブで最高のパフォーマンスを示した。
• SACベースラインは優れた一般化性能を示し、フック・ロボットでは引き手型ノブで62％、グリッパーでは58％の成功率を達成した。視覚ノイズやランダマイズの影響下でも同様の結果を示した。
• 現実世界への転送実験により、DoorGymで訓練されたポリシーが、追加のファインチューニングなしに実際にドアを開けることが確認され、ゼロショットデプロイメントの可能性が裏付けられた。
• 視覚ベースのポリシーは、真値状態ベースのポリシーに比べて著しく性能が低く、特にレバー型および丸型ノブでは顕著な差が見られた。これは視覚一般化の課題を示している。
• 視覚のみの観測を用いた場合、レバー型および丸型ノブでの成功率が著しく低下し、視覚的認識が依然として主要なボトル neck であることが示された。
• モバイルロボットの設定では、押しドアに対して最大100％の成功率を示したのに対し、固定アームよりも高い成功率を達成しており、移動性がタスクの頑健性を高めることを示唆している。