[論文レビュー] GPV-Pose: Category-level Object Pose Estimation via Geometry-guided Point-wise Voting

Di Yan, Ruida Zhang+5 more|arXiv (Cornell University)|Mar 15, 2022

Robot Manipulation and Learning被引用数 7

ひとこと要約

GPV-Pose は、信頼度に配慮した回転予測と、新しいポイントワイドなバウンディングボックス投票メカニズムを活用することで、特徴の学習を向上させる幾何学的ガイド付きカテゴリーレベル6次元オブジェクトポーズ推定フレームワークを提案する。ポイントクラウド、ポーズ、バウンディングボックスの間で幾何学的整合性を強制することで、公開ベンチマークで20 FPSのリアルタイム性能を達成し、最先端の性能を実現した。

ABSTRACT

While 6D object pose estimation has recently made a huge leap forward, most methods can still only handle a single or a handful of different objects, which limits their applications. To circumvent this problem, category-level object pose estimation has recently been revamped, which aims at predicting the 6D pose as well as the 3D metric size for previously unseen instances from a given set of object classes. This is, however, a much more challenging task due to severe intra-class shape variations. To address this issue, we propose GPV-Pose, a novel framework for robust category-level pose estimation, harnessing geometric insights to enhance the learning of category-level pose-sensitive features. First, we introduce a decoupled confidence-driven rotation representation, which allows geometry-aware recovery of the associated rotation matrix. Second, we propose a novel geometry-guided point-wise voting paradigm for robust retrieval of the 3D object bounding box. Finally, leveraging these different output streams, we can enforce several geometric consistency terms, further increasing performance, especially for non-symmetric categories. GPV-Pose produces superior results to state-of-the-art competitors on common public benchmarks, whilst almost achieving real-time inference speed at 20 FPS.

研究の動機と目的

• 既知のオブジェクトクラスに属する未観測のインスタンスに対してポーズとスケールを予測するカテゴリーレベル6次元オブジェクトポーズ推定の課題に対処すること。
• CADモデルに依存する従来の手法が、クラス内形状変動に対して困難を抱えるという限界を克服すること。
• ポイントクラウド、オブジェクトポーズ、3次元バウンディングボックスの間の幾何的関係を明示的にモデル化することで、特徴の学習を向上させること。
• 高い精度を維持しながらリアルタイム推論（20 FPS）を実現し、AR/VR やロボティクスの実用的応用に適すること。

提案手法

• 回転行列を平面法線に分解することで、閉形式での回復が可能となり、幾何的認識が向上する、分離された信頼度駆動型回転表現を導入する。
• すべてのポイントからの方向、距離、信頼度予測を集約することで、3次元バウンディングボックスを頑健に推定する幾何学的ガイド付きポイントワイド投票（GPV）メカニズムを提案する。
• ポイントクラウド–ポーズ（PP）およびポイントクラウド–バウンディングボックス–ポーズ（PBP）の2つの幾何的整合性ストリームを活用し、幾何的対応関係を用いてネットワークを監視する。
• 予測されたポーズがポイントクラウドおよび投票されたバウンディングボックスと整合するように損失関数により幾何的整合性項を強制し、一般化性能を向上させる。
• 3次元グラフ畳み込みエンコーダーをバックボーンとし、直接ポーズ回帰、対称性を考慮した再構築、バウンディングボックス投票の3本の並列ブランチを設ける。
• ノイズやスパarsityがある予測に対しても頑健性を確保するため、信頼度加重最小二乗法を用いてポイントワイド投票出力から最終的な平面パラメータを計算する。

実験結果

リサーチクエスチョン

• RQ1 クラス内形状変動に対して頑健性を高めるために、カテゴリーレベル6次元オブジェクトポーズ推定に幾何的事前知識を効果的に統合する方法は何か？
• RQ2 信頼度に配慮した回転予測は、非対称的または挑戦的なオブジェクトカテゴリにおいて、ポーズ推定の精度を向上させ得るか？
• RQ3 エンドツーエンド回帰と比較して、ポイントワイドなバウンディングボックス投票は、3次元ボックス推定の精度をどの程度向上させるか？
• RQ4 PPおよびPBPストリームから得られる幾何的整合性項は、カテゴリーレベルポーズ推定における全体的な性能向上にどの程度寄与するか？
• RQ5 統合されたフレームワークは、REAL275 や CAMERA25 のような標準ベンチマークで、高い精度とリアルタイム推論速度（例：20 FPS）を両立できるか？

主な発見

• GPV-Pose は、REAL275 および CAMERA25 ベンチマークで最先端の性能を達成し、3D IoU は75%閾値で63.2%、5°2cm誤差閾値で29.9%を記録した。
• アブレーションスタディにより、幾何的整合性損失（例：$π^{BB}_{(R)}, π^{BB}_{(t)}$）を追加することで、$3D_{75}$ における性能が60.4%から63.2%に向上し、その有効性が確認された。
• 信頼度に配慮した回転予測を組み込むことで、$3D_{75}$ における性能が52.0%から56.9%に向上し、クラス固有の信頼度重み付けの利点が顕著に示された。
• ポイントワイド投票メカニズムは、正確で信頼度の高い平面予測を生成し、可視化ではターゲット平面付近で高い信頼度、離れた位置では低い信頼度が観察された。
• YOLO-V3 + ATSA を用いたインスタンス検出と組み合わせた場合、全体のパイプラインは約20 FPSで動作し、リアルタイム応用に適していることが確認された。
• インスタンスレベルのポーズ推定において、GPV-Pose はADD(-S)メトリクスで98.2%の精度を達成し、DualPoseNet や PVN3D などのSOTA手法と同等の性能を維持しながら、リアルタイム速度を実現した。