[論文レビュー] Nothing But Geometric Constraints: A Model-Free Method for Articulated Object Pose Estimation

Qihao Liu, Weichao Qiu+3 more|arXiv (Cornell University)|Nov 30, 2020

Robot Manipulation and Learning参考文献 40被引用数 15

ひとこと要約

本論文では、CADモデルやアノテーション付き学習データを必要とせず、RGBまたはRGB-D動画シーケンスからアーチレートドオブジェクトやロボットアームの関節構成を推定するモデルフリーで教師なしの手法GC-Poseを提案する。幾何的制約——特に複数フレームにわたるEM最適化とボンデュール調整を用いた拡張されたエピポーラ制約——を活用することで、最先端の精度を達成し、ベンチマークデータセットにおいて教師あり手法を上回る性能を発揮するとともに、新しいオブジェクトにも一般化可能である。

ABSTRACT

We propose an unsupervised vision-based system to estimate the joint configurations of the robot arm from a sequence of RGB or RGB-D images without knowing the model a priori, and then adapt it to the task of category-independent articulated object pose estimation. We combine a classical geometric formulation with deep learning and extend the use of epipolar constraint to multi-rigid-body systems to solve this task. Given a video sequence, the optical flow is estimated to get the pixel-wise dense correspondences. After that, the 6D pose is computed by a modified PnP algorithm. The key idea is to leverage the geometric constraints and the constraint between multiple frames. Furthermore, we build a synthetic dataset with different kinds of robots and multi-joint articulated objects for the research of vision-based robot control and robotic vision. We demonstrate the effectiveness of our method on three benchmark datasets and show that our method achieves higher accuracy than the state-of-the-art supervised methods in estimating joint angles of robot arms and articulated objects.

研究の動機と目的

• 動画シーケンスからアーチレートドオブジェクトやロボットアームの関節構成を推定する教師なしでモデルフリーな手法の開発。
• アノテーション付きデータや3次元CADモデルに依存せずに、低テクスチャ表面、自己遮蔽、反射性素材といった課題に対処すること。
• 特定のインスタンスに対してのファインチューニングなしに、生の動画から学習することで、新しいアーチレートドオブジェクトやロボットアームにも一般化できること。
• ロボットビジョンにおけるポーズ推定手法の分析・診断を可能にする制御可能な合成データセットの構築。

提案手法

• 事前学習済みモデル（例：FlowNet2）を用いて動画フレーム間の高密度オプティカルフローを推定し、ピクセル単位の対応関係を確立する。
• 各移動部品ごとに6次元剛体変換として定式化された拡張されたエピポーラ制約を適用し、特に低テクスチャ領域や反射性領域でのオプティカルフローの精度を向上させる。
• エピポーラ制約下でオプティカルフローと剛体変換を同時に最適化するためEMアルゴリズムを用い、ノイズの多いフローに対する耐性を高める。
• 2次元の対応点から、フレーム間の相対運動を推定する修正版PnPアルゴリズムを用いて6次元ポーズを計算する。
• 時間的に積算された相対変換から、絶対的な関節構成を回復する。
• 推定済みまたは真値の深度を用いて複数フレームにわたるボンデュール調整を実行し、関節角度推定の精度を向上させ、累積誤差を低減する。

実験結果

リサーチクエスチョン

• RQ1 CADモデルやアノテーション付き学習データが一切不要なモデルフリー手法が、高精度なアーチレートドオブジェクトポーズ推定を達成できるか。
• RQ2 低テクスチャまたは反射性剛体に対して、拡張されたエピポーラ制約がオプティカルフロー精度をどの程度向上させるか。
• RQ3 自己遮蔽や複雑な運動下において、複数フレームのボンデュール調整がポーズ推定精度にどの程度寄与するか。
• RQ4 ノイズの多い深度推定に対して、この手法はどの程度頑健であり、単眼ネットワークからの推定深度でも効果的に機能するか。

主な発見

• GC-Poseは、CADモデルや学習データを一切必要とせず、3つのベンチマークデータセットにおいて最先端の教師あり手法を上回る関節角度推定精度を達成しており、再トレーニングなしに新しいオブジェクトに対しても同様の性能を発揮する。
• 拡張されたエピポーラ制約により、低テクスチャ表面におけるオプティカルフローの精度が顕著に向上し、テクスチャあり・なしオブジェクト間の性能差が著しく縮小される。
• ボンデュール調整により、関節構成推定における累積誤差が低減され、最良ケースでは平均誤差を8.7170°から5°未満まで改善する。
• Monodepth2からの推定深度でさえも、GC-Poseは強力な性能を維持し、真値深度を用いることでさらに性能向上が確認され、深度ノイズに対する頑健性が示された。
• 合成データセットにより、制御されたアブレーションスタディが可能となり、幾何的制約と複数フレーム最適化が性能向上の鍵であることが確認された。