[論文レビュー] L6DNet: Light 6 DoF Network for Robust and Precise Object Pose Estimation with Small Datasets

Mathieu Gonzalez, Amine Kacete+2 more|arXiv (Cornell University)|Feb 3, 2020

Robot Manipulation and Learning参考文献 44被引用数 16

ひとこと要約

L6DNet は、1枚のRGB-D画像から6自由度（6 DoF）オブジェクトポーズ推定を実現する2段階のハイブリッド手法を提案する。畳み込みニューラルネットワーク（CNN）のスイカスによりカメラ座標系における3次元キーポイント位置を予測し、その後、幾何的登録を用いて最終的なポーズを計算する。LineMod データセットにおいて最先端の精度を達成し、特に小規模なデータセットやテクスチャのないオブジェクトにおいても、高精度かつ高い耐性を示すリアルタイムのビジュアルサーボイングを可能にする。

ABSTRACT

Estimating the 3D pose of an object is a challenging task that can be considered within augmented reality or robotic applications. In this paper, we propose a novel approach to perform 6 DoF object pose estimation from a single RGB-D image. We adopt a hybrid pipeline in two stages: data-driven and geometric respectively. The data-driven step consists of a classification CNN to estimate the object 2D location in the image from local patches, followed by a regression CNN trained to predict the 3D location of a set of keypoints in the camera coordinate system. To extract the pose information, the geometric step consists in aligning the 3D points in the camera coordinate system with the corresponding 3D points in world coordinate system by minimizing a registration error, thus computing the pose. Our experiments on the standard dataset LineMod show that our approach is more robust and accurate than state-of-the-art methods. The approach is also validated to achieve a 6 DoF positioning task by visual servoing.

研究の動機と目的

• オクルージョン、テクスチャのないオブジェクト、変化する照明条件を伴う複雑なシーンにおいて、正確で耐性のある6 DoFオブジェクトポーズ推定の課題に対処する。
• エンドツーエンドのディープラーニング手法の限界を克服するため、キーポイント予測とポーズ計算を幾何的登録によって分離する。
• 大規模なアノテート済みデータに依存することなく、小規模なトレーニングデータセットでも高精度なポーズ推定を実現する。
• 画像の変化に強く、ロボットのビジョナルサーボイングなどのリアルタイムなロボットアプリケーションに適した手法を設計する。

提案手法

• 2段階のパイプラインを採用：データ駆動段階で3次元キーポイントを予測し、幾何的段階で3次元-3次元登録によりポーズを計算する。
• まず、分類用のCNNが局所的な画像パッチを処理し、2次元オブジェクト位置を推定することで、キーポイント回帰の選択的実行を可能にする。
• 次に、回帰用のCNNがRGB-Dパッチからカメラ座標系におけるスパarsなキーポイントの3次元座標を予測する。
• 複数のパッチにわたる投票機構を適用し、複数の3次元キーポイントの仮説を1つの堅牢な推定値に統合する。
• 予測されたカメラ座標系の点とオブジェクトキーポイントの既知の3次元ワールド座標との間の3次元-3次元登録誤差を最小化することで、最終的な6 DoFポーズを計算する。
• 小さな受容 field と低ストライドのパッチ抽出を用いた軽量なアーキテクチャを採用し、速度と精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 小規模なデータセット制約下で、ハイブリッド学習-幾何的アプローチがエンドツーエンドのディープラーニング手法を上回る性能を示せるか？
• RQ2 カメラ座標系における3次元キーポイントの予測と3次元-3次元登録の解法は、2次元-3次元対応や直接的なポーズ回帰に比べ、より高い精度を達成できるか？
• RQ3 パッチベースの投票戦略は、テクスチャのないまたは遮蔽されたオブジェクトにおいて、精度と耐性を向上させるのにどの程度有効か？
• RQ4 RGB入力と比較して、深度データの組み込みがキーポイント回帰とポーズ推定性能をどの程度向上させるか？
• RQ5 この手法は、ロボット操作のためのビジョアルサーボイングタスクにおいて、リアルタイムの性能と安定性を達成できるか？

主な発見

• RGBのみの入力でLineModデータセットにおいて平均ADD-S精度96.9%、RGB-D入力で96.7%を達成し、限られたデータでも強力な性能を示す。
• ドリルオブジェクトでは、パッチサイズ32×32、ストライド4ピクセルで98.7%のADD-S精度を達成し、推論時間は525 ms未満。
• 投票機構は精度を顕著に向上させる：1つの80×80パッチを用いる場合、猿（ape）のADD-Sは44.2%にとどまるが、複数のパッチを用いることで78.2%に向上。
• 高いビジョアルサーボイング精度を達成し、120イテレーション後の最終誤差∆r = (1.2mm, -1.6mm, -0.4mm, -0.09°, -0.18°, 0.07°)を示し、安定的かつ高精度なカメラ制御を実現。
• 推論時間はパッチサイズに比例して増加し、80×80パッチでは634.9 msにピークに達するが、精度は64×64でピークに達し、その後低下するため、最適なパッチサイズのトレードオフが存在する。
• 深度入力は一部のオブジェクト（例：cam, drill）において性能を向上させるが、他のオブジェクトではそれほど重要ではなく、特定のテクスチャに対してはRGBのみのパッチがより特徴的である場合がある。