[論文レビュー] 3D Robot Pose Estimation from 2D Images

Christoph Heindl, Sebastian Zambal+3 more|arXiv (Cornell University)|Feb 13, 2019

Human Pose and Action Recognition参考文献 37被引用数 4

ひとこと要約

本稿では、1枚の2D画像から3Dロボットポーズ推定をエンドツーエンドで行う深層学習フレームワークを提案する。段階的なCNNと再帰的セグメンテーションネットワークを用いて、関節位置、スパarsな深度マップ、インスタンスマスクを同時に予測する。合成データのみで学習されたにもかかわらず、本手法は現実世界の画像へも効果的に一般化され、深度推定において近距離（0–5 m）で平均5.81 cm、遠距離（5–10 m）で平均9.50 cmのピクセル誤差を達成した。

ABSTRACT

This paper considers the task of locating articulated poses of multiple robots in images. Our approach simultaneously infers the number of robots in a scene, identifies joint locations and estimates sparse depth maps around joint locations. The proposed method applies staged convolutional feature detectors to 2D image inputs and computes robot instance masks using a recurrent network architecture. In addition, regression maps of most likely joint locations in pixel coordinates together with depth information are computed. Compositing 3D robot joint kinematics is accomplished by applying masks to joint readout maps. Our end-to-end formulation is in contrast to previous work in which the composition of robot joints into kinematics is performed in a separate post-processing step. Despite the fact that our models are trained on artificial data, we demonstrate generalizability to real world images.

研究の動機と目的

• 現実の産業現場における大規模かつアノテーション済みのデータセットの不足に対処すること。
• 3D深度センサーや手動によるアノテーションを必要とせずに、単眼2D画像から正確な3Dキネマティックチェーンを再構築できること。
• 高価なデータ収集やラベリングを回避するため、合成シミュレーションデータから現実世界の画像へ一般化可能な手法を開発すること。
• エンドツーエンドのフレームワークで、ロボットのインスタンスセグメンテーション、2D関節位置、スパース深度マップを同時に推定すること。
• シミュレーションベースの学習が、現実世界のロボットポーズ推定タスクにおいても頑健な性能を発揮できることを示すこと。

提案手法

• 本手法は、段階的な畳み込みニューラルネットワーク（CNN）を用いて、1枚の2D RGB画像から関節位置の信念マップとスパース深度マップを予測する。
• 再帰的インスタンスセグメンテーションネットワークが信念マップと深度マップを処理し、関節の後処理によるグループ化を回避してロボットのインスタンスマスクを生成する。
• 関節位置は信念マップ上の非最大抑制（NMS）により特定され、深度値を用いた再投影によって3D座標が再構築される。
• モデルはドメインランダマイゼーションを用いて、人工的にレンダリングされた3Dシミュレーションデータのみで学習される。
• インスタンスマスクを用いて、各ロボットごとに関節信念マップと深度マップを合成することで、キネマティックチェーンの再構築が可能になる。
• パイプラインは、関節検出、深度回帰、インスタンスセグメンテーションを1つのエンドツーエンドフレームワークで統合し、別個の後処理ステップを不要にする。

実験結果

リサーチクエスチョン

• RQ1 合成3Dレンダリングデータのみで学習したディープラーニングモデルが、現実世界の画像においても正確な3Dロボットポーズ推定を達成できるか？
• RQ2 2D関節位置、深度、インスタンスセグメンテーションの同時予測は、完全な3Dキネマティックチェーンの再構築においてどの程度効果的か？
• RQ3 従来の関節の後処理によるグループ化と比較して、再帰的インスタンスセグメンテーションネットワークの使用が性能にどの程度寄与するか？
• RQ4 シミュレーションで学習したモデルが、外観やポーズが異なる現実世界のロボット画像に対して、どの程度一般化能力を示すか？
• RQ5 シーン内のロボットインスタンス数が増加する際に、パイプラインの実行時間はどのように変化するか？

主な発見

• 合成テストデータ上では、近距離（0–5 m）で平均深度推定誤差5.81 cm、遠距離（5–10 m）で9.50 cmを達成した。
• IoU閾値0.5における平均精度（AP）は88.7%であり、合成データ上での強力なインスタンスセグメンテーション性能を示している。
• 実世界の画像に対しても一般化が可能であり、実世界データでの学習が一切ないにもかかわらず、関節位置の局所化において低いピクセル誤差を達成した。
• 実行時間解析の結果、信念マップ予測はリアルタイム（平均10.95 ms）で実行可能である一方、ガウシアンのラプラシアンを用いた関節位置特定が最も遅く（平均310.00 ms）、ボトルネックとなった。
• マスク化された関節信念マップと深度マップを組み合わせることで、複数のロボットが存在する複雑なシーンでさえも、完全な3Dキネマティックチェーンを正常に再構築できた。
• ドメインランダマイゼーションを用いたシミュレーションベースの学習により、実世界の画像へのゼロショット一般化が有効に実現可能であり、実データ収集やアノテーションの必要性が著しく削減された。