[論文レビュー] I Like to Move It: 6D Pose Estimation as an Action Decision Process

Benjamin Busam, Hyun Jun Jung+1 more|arXiv (Cornell University)|Sep 26, 2020

Robot Manipulation and Learning参考文献 76被引用数 18

ひとこと要約

本論文は、1枚のRGB画像から段階的なポーズ補正を予測する軽量CNNを用いて、反復的で学習可能な行動意思決定プロセスとして6次元オブジェクトポーズ推定を定式化する新規な手法を提案する。動きに応じて推論コストを動的に調整しながら、順次的かつ学習された行動によってポーズを改善することで、YCBおよびLavalデータセットで最先端の精度を達成するとともに、微調整なしに未観測のオブジェクトに対しても一般化可能である。

ABSTRACT

Object pose estimation is an integral part of robot vision and AR. Previous 6D pose retrieval pipelines treat the problem either as a regression task or discretize the pose space to classify. We change this paradigm and reformulate the problem as an action decision process where an initial pose is updated in incremental discrete steps that sequentially move a virtual 3D rendering towards the correct solution. A neural network estimates likely moves from a single RGB image iteratively and determines so an acceptable final pose. In comparison to other approaches that train object-specific pose models, we learn a decision process. This allows for a lightweight architecture while it naturally generalizes to unseen objects. A coherent stop action for process termination enables dynamic reduction of the computation cost if there are insignificant changes in a video sequence. Instead of a static inference time, we thereby automatically increase the runtime depending on the object motion. Robustness and accuracy of our action decision network are evaluated on Laval and YCB video scenes where we significantly improve the state-of-the-art.

研究の動機と目的

• オブジェクト固有の学習を必要とし、一般化性能が低い既存の6次元ポーズ推定手法の限界を克服すること。
• 1枚のRGB画像入力に基づき、ノイズ、遮蔽、ごみの影響に対してもロバストで高精度な推定を実現すること。
• オブジェクトの動きやポーズ変化に応じて推論の複雑さを動的に調整することで、計算コストを低減すること。
• 個々のオブジェクト用のモデルではなく意思決定プロセスを学習することにより、未観測のオブジェクトに対してもゼロショット一般化を可能にすること。
• 動画シーケンスを活用して反復的・順次的にポーズを改善することで、トラッキング性能を向上させるとともに、前フレームからのポーズ初期化により実行時間を短縮すること。

提案手法

• 本手法は、ニューラルネットワークが離散的なポーズ行動を予測することで、3次元オブジェクトレンダリングを段階的に改善する順次的意思決定プロセスとして6次元ポーズ推定を定式化する。
• 軽量なCNNが、クロップされた画像とレンダリングペアを処理し、各ステップで6次元ポーズ更新（並進と回転）を予測する。
• 予測された行動が現在のポーズに適用され、新しいレンダリングが生成され、次の反復のために再クロップされる。
• ポーズの変化が顕著でなくなった時点で「停止」行動が予測され、動画シーケンスにおいて推論コストを動的に低減可能になる。
• 合成データ上で学習され、実際の背景を用いた高品質なレンダリングが使用され、ごみや遮蔽をシミュレートするためのデータ拡張スキームが採用されている。
• 動画推論では、フレームtのポーズがフレームt+1の初期ポーズとして使用され、必要な反復回数が削減される。

実験結果

リサーチクエスチョン

• RQ1 6次元ポーズ推定を回帰や分類ではなく、順次的行動意思決定プロセスとして効果的に再定式化できるか？
• RQ2 軽量で共有されたポリシーネットワークは、個別オブジェクトモデルに比べて未観測のオブジェクトへの一般化性能が優れているか？
• RQ3 ポーズ変化に基づく動的複雑性低減は、動画シーケンスにおける推論効率を向上させられるか？
• RQ4 遮蔽、ごみ、ノイズの程度が異なる条件下で、最先端の手法と比較して本手法はどの程度の性能を示すか？
• RQ5 1枚のRGB画像入力に反復的改善を組み合わせることで、YCBやLavalといったベンチマークデータセットで既存手法を上回ることができるか？

主な発見

• 本手法はYCBデータセットで最先端の性能を達成し、0.1mのADD閾値曲線において全オブジェクト平均でAUC 83.47%を達成した。
• Lavalデータセットでは、0%の遮蔽条件下でクッキー・ジャーについて平均並進誤差3.82mm、平均回転誤差6.48°を達成し、先行研究を顕著に上回った。
• レンダリングされた深度入力を使用しないモデル（Ours w/o D）はより高い誤差を示しており、深度の監視が遮蔽下でもロバスト性を向上させることを示している。
• 微調整なしに未観測のオブジェクトに対しても一般化可能であり、学習された意思決定ポリシーのおかげでゼロショット能力を示した。
• 動画シーケンスにおいて、前フレームからの初期ポーズを活用することで、動きが小さい場合には反復回数が減少し、推論コストが動的に低減された。
• D-IM、PV-N、R&Cといった強力なベースラインと比較して、特に高遮蔽やごみの多い状況下でも優れた性能を示した。