[論文レビュー] Learning a High-Precision Robotic Assembly Task Using Pose Estimation from Simulated Depth Images.

Yuval Litvak, Armin Biess+1 more|arXiv (Cornell University)|Sep 27, 2018

Robot Manipulation and Learning被引用数 2

ひとこと要約

本論文では、模擬深度画像を用いた2段階のディープラーニングベースのポーズ推定システムを提案し、複雑なギア類似機構の高精度なロボット組立を可能にした。これにより、2.16 mmの並進誤差と0.64°の回転誤差を達成し、ランダムに配置された部品の組立成功率が91%に達した。これは、実世界への適用性を有する最初の完全なソリューションである。

ABSTRACT

Most of industrial robotic assembly tasks today require fixed initial conditions for successful assembly. These constraints induce high production costs and low adaptability to new tasks. In this work we aim towards flexible and adaptable robotic assembly by using 3D CAD models for all parts to be assembled. We focus on a generic assembly task - the Siemens Innovation Challenge - in which a robot needs to assemble a gear-like mechanism with high precision into an operating system. To obtain the millimeter-accuracy required for this task and industrial settings alike, we use a depth camera mounted near the robot end-effector. We present a high-accuracy two-stage pose estimation procedure based on deep convolutional neural networks, which includes detection, pose estimation, refinement, and handling of near- and full symmetries of parts. The networks are trained on simulated depth images with means to ensure successful transfer to the real robot. We obtain an average pose estimation error of 2.16 millimeters and 0.64 degree leading to 91% success rate for robotic assembly of randomly distributed parts. To the best of our knowledge, this is the first time that the Siemens Innovation Challenge is fully addressed, with all the parts assembled with high success rates.

研究の動機と目的

• 固定された初期条件が不要な柔軟で適応性のあるロボット組立を可能にし、生産コストの低減とタスクの多様性を向上させること。
• 3D CADモデルと深度センシングのみを用いて、複雑なギア類似機構の高精度な組立を実現すること。
• ミリメートルレベルの精度で、近似的・完全な対称性を持つ部品を処理できるポーズ推定システムを開発すること。
• シミュレーションから実世界へのロボットデプロイメントに成功するドメインランダマイゼーションの実現を保証すること。

提案手法

• 2段階のディープコンボリューショナルニューラルネットワークパイプラインを採用：まず深度画像内で部品を検出しこれをもとに6次元ポーズ推定を refining する。
• ネットワークは、ランダムな照明、テクスチャ、ノイズを含む3D CADモデルから生成された合成深度画像のみで訓練される。
• 初期検出結果の精度を向上させるために、微分可能で微分可能なリファインメントモジュールを用いてポーズの微調整が行われる。
• 対称性に配慮した損失関数とデータ拡張技術を用いて、対称的・ほぼ対称的な部品に対する耐性を向上させる。
• ドメインランダマイゼーションとシミュレーションから実世界への転送戦略を統合し、実ロボット上での性能一般化を確保する。
• 組立中にリアルタイムで高精度なポーズフィードバックを提供するために、ロボットエンドエフェクタに近接して深度カメラを設置する。

実験結果

リサーチクエスチョン

• RQ1 シミュレートされた深度画像で訓練されたディープラーニングベースのポーズ推定システムは、産業用ロボット組立タスクにおいて十分な精度を達成できるか？
• RQ2 機械的部品に見られる近似的・完全な対称性は、6次元ポーズ推定においてどのように効果的に処理できるか？
• RQ3 3D CADモデルとシミュレートされたトレーニングデータのみを用いた場合、実世界のロボット組立でどの程度の精度と成功率が達成できるか？
• RQ4 ドメインランダマイゼーションは、実世界での微調整なしに、ロボット組立におけるシミュレーションから実世界への転送をどの程度成功に導けるか？

主な発見

• 提案手法は、ポーズ推定において平均して2.16ミリメートルの並進誤差と平均0.64度の回転誤差を達成した。
• 本システムは、シーメンスインノベーションチャレンジのタスクにおいて、ランダムに配置された部品の組立で91%の成功率を達成した。
• ポーズ推定パイプラインは、ギア類似機構部品に見られる近似的な対称性および完全な対称性を効果的に処理できた。
• ドメインランダマイゼーションを用いた模擬深度画像の利用により、実世界へのシミュレーションから実世界への転送が、実世界での微調整なしに効果的に実現された。
• これは、3D CADモデルとシミュレートされたトレーニングデータのみを用いて、高精度なロボット組立を実現した最初の報告済みの完全なソリューションである。
• 本手法は、固定された初期条件がなくても、実世界でのデプロイメントにおいて頑健性と信頼性を示し、産業用の精度を達成した。