[論文レビュー] Robust Multi-Modal Policies for Industrial Assembly via Reinforcement Learning and Demonstrations: A Large-Scale Study

Jianlan Luo, Oleg Sushkov+7 more|arXiv (Cornell University)|Mar 21, 2021

Reinforcement Learning in Robotics参考文献 24被引用数 4

ひとこと要約

本論文では、産業アセンブリタスクにおける人間のデモを用いた、頑健な深層強化学習フレームワークであるSHIELDを提案する。NISTベンチマークにおいて13,000回の試行で99.8%の成功率を達成した。オフポリシーのDDPGfDとカリキュラム学習、デモプライアを組み合わせることで、移動標的や目隠しでのキーロック挿入といった困難な挿入タスクにおいて、エンジニアリングされた産業ソリューションや人間の性能を上回った。

ABSTRACT

Over the past several years there has been a considerable research investment into learning-based approaches to industrial assembly, but despite significant progress these techniques have yet to be adopted by industry. We argue that it is the prohibitively large design space for Deep Reinforcement Learning (DRL), rather than algorithmic limitations per se, that are truly responsible for this lack of adoption. Pushing these techniques into the industrial mainstream requires an industry-oriented paradigm which differs significantly from the academic mindset. In this paper we define criteria for industry-oriented DRL, and perform a thorough comparison according to these criteria of one family of learning approaches, DRL from demonstration, against a professional industrial integrator on the recently established NIST assembly benchmark. We explain the design choices, representing several years of investigation, which enabled our DRL system to consistently outperform the integrator baseline in terms of both speed and reliability. Finally, we conclude with a competition between our DRL system and a human on a challenge task of insertion into a randomly moving target. This study suggests that DRL is capable of outperforming not only established engineered approaches, but the human motor system as well, and that there remains significant room for improvement. Videos can be found on our project website: https://sites.google.com/view/shield-nist.

研究の動機と目的

• 学術的な強化学習と産業分野の実装の間のギャップを埋めるために、DRLの産業指向基準を定義すること。
• 標準化されたNISTアセンブリベンチマーク上で、プロフェッショナルな産業統合業者のソリューションと比較して、DRL-from-demonstrationアプローチの有効性を評価すること。
• 学習ベースのポリシーが、現実世界の産業的マニピュレーションタスクにおいて、エンジニアリングされたシステムや人間の性能を上回ることを実証すること。
• 将来的な研究を支援するため、ロボット相互作用データの大型データセットをオープンソース化すること。
• 2つの極めて困難なタスク、すなわち動く標的に向かってHDMIコネクタを挿入するタスクと、ずれたロックに対して目隠しでキーロックを挿入するタスクの両方で、手法の有効性を検証すること。

提案手法

• 人間の遠隔操作データからマルチモーダルなポリシーを学習するために、デモを用いたオフポリシーの深層強化学習（DDPGfD）を活用する。
• カリキュラムベースの初期姿勢ランダム化を採用し、X/Yオフセットを0から0.5 cmまで段階的に増加させることで、初期条件のばらつきに対する耐性を高めた。
• 定期的な人間によるポリシー補正を伴う非同期的でオンラインの学習を実施し、学習の安定性とサンプル効率を向上させた。
• 視覚と力トルクセンサーのフィードバックをマルチモーダルな観測として統合し、不確実な環境下での接触を伴うマニピュレーションを可能にした。
• 成功信号に加えて挿入までの進行度を組み合わせた報酬形状化機構を採用し、探索を促進し収束を促進した。
• 視覚観測を符号化するためにVAEベースの再構成損失を有する視覚モデルを採用したが、照明変化やごみの影響など環境変化によって性能が低下した。

実験結果

リサーチクエスチョン

• RQ1 デモを用いて訓練されたDRLシステムは、標準化された産業ベンチマーク上で、プロフェッショナルに設計された産業用ロボットソリューションを上回ることができるか？
• RQ2 1つのDRLポリシーが、産業的挿入タスクにおける異なる初期姿勢オフセットに対してどの程度一般化できるか？
• RQ3 学習ベースのシステムは、動く標的への挿入といった複雑で動的なマニピュレーションタスクにおいて、人間の性能に達するか、それを上回ることができるか？
• RQ4 センサーノイズ、物体のずれ、環境的干渉要因といった現実世界のばらつきに対して、この手法はどの程度頑健か？
• RQ5 従来のロボティクスソリューションが脆弱すぎたりコストがかかりすぎたりするため、このフレームワークは制約のない製造環境への導入を可能にするか？

主な発見

• SHIELDエージェントは、NISTアセンブリベンチマークで13,000回の試行において99.8%の成功率を達成し、多様なテスト条件下でも高い信頼性を示した。
• 最大0.5 cmの初期X/Yオフセットを伴うキーロック挿入タスクにおいて、エージェントは87%の成功率を達成した。これは、2 mmの探索範囲しか持たないベンダー製ソリューションを著しく上回った。
• ランダムに動く標的へのHDMI挿入タスクにおいて、1,637回の試行で100%の成功率を達成し、人間のサイクルタイムと同等だった。
• システムは5 mmの初期ずれに対応できる長距離探索ポリシーを学習したが、これは商業的ソリューションの2 mmの範囲を上回った。
• 人間との比較では、動く標的への挿入タスクにおいて、エージェントはサイクルタイムと成功率の両面で人間の性能と同等であり、人間レベルの頑健性を示した。
• オープンソース化されたデータセットには、報酬ラベルが付与された約50時間分のロボット相互作用データが含まれており、将来的な産業的マニピュレーション研究におけるベンチマーク化と再現性を支援する。