[論文レビュー] Category-Level Articulated Object Pose Estimation

Xiaolong Li, He Wang+4 more|arXiv (Cornell University)|Dec 26, 2019

Human Pose and Action Recognition参考文献 29被引用数 7

ひとこと要約

本稿では、未学習のインスタンスへの一般化を可能にする、新しいアーティキュレーション対応正規化座標空間階層（ANCSH）を用いたカテゴリーレベルのアーティキュレーテッドオブジェクトポーズ推定フレームワークを提案する。手法はPointNet++ベースのネットワークを用いてANCSH内での正規化されたパーツおよびジョイント属性を予測し、ポーズとジョイント制約を最適化する。トレーニングに実データを一切使用しないにもかかわらず、実世界のベンチマークで最先端の精度を達成している。

ABSTRACT

This project addresses the task of category-level pose estimation for articulated objects from a single depth image. We present a novel category-level approach that correctly accommodates object instances previously unseen during training. We introduce Articulation-aware Normalized Coordinate Space Hierarchy (ANCSH) - a canonical representation for different articulated objects in a given category. As the key to achieve intra-category generalization, the representation constructs a canonical object space as well as a set of canonical part spaces. The canonical object space normalizes the object orientation,scales and articulations (e.g. joint parameters and states) while each canonical part space further normalizes its part pose and scale. We develop a deep network based on PointNet++ that predicts ANCSH from a single depth point cloud, including part segmentation, normalized coordinates, and joint parameters in the canonical object space. By leveraging the canonicalized joints, we demonstrate: 1) improved performance in part pose and scale estimations using the induced kinematic constraints from joints; 2) high accuracy for joint parameter estimation in camera space.

研究の動機と目的

• 単一の深度画像からカテゴリーレベルのアーティキュレーテッドオブジェクトポーズ推定を可能にし、トレーニング時に見なかった新しいインスタンスに対しても一般化すること。
• パーツ幾何、ジョイントパラメータ、アーティキュレーション状態、自己遮蔽の大きなカテゴリ内変動に対処すること。
• バネジョイントおよびプリズムジョイントからの運動学的制約をモデル化し、ポーズ推定精度を向上させること。
• 正規化された表現を活用することで、カメラ座標空間における高精度なジョイントパラメータ予測を達成すること。
• 学習された正規化座標空間を用いて、パーツポーズとジョイント制約を統合的に最適化する統一フレームワークの構築

提案手法

• アーティキュレーション対応正規化座標空間階層（ANCSH）を提案。2段階の正規化座標空間として、グローバルなオブジェクト正規化のための正規化アーティキュレーテッドオブジェクト座標空間（NAOCS）と、パーツごとの正規化のための正規化パーツ座標空間（NPCS）を含む。
• PointNet++ベースの深層ネットワークを用いて、パーツセグメンテーション、ANCSH内での正規化座標、および正規化座標空間内のジョイントパラメータを予測する。
• ジョイントタイプ（回転ジョイントまたはプリズムジョイント）に基づいた運動学的制約をモデル化し、ポーズフィッティングのための統合最適化問題に正則化として組み込む。
• 正規化座標空間（NAOCS）からのジョイントパラメータ予測をカメラ座標空間に変換することで、実世界設定における精度を向上させる。
• NAOCS表現を活用して、重度の遮蔽下でもサイズの曖昧さを軽減し、信頼性の高いジョイント状態およびパラメータ推定を可能にする。
• パーツポーズフィッティング誤差とジョイント制約違反の両方を最小化する統合最適化フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 共有された正規化表現は、未学習のインスタンスに対してカテゴリーレベルの一般化を可能にするか？
• RQ2 回転ジョイントおよびプリズムジョイントからの運動学的制約を効果的にモデル化し、ポーズ推定精度の向上に活用できるか？
• RQ3 正規化座標空間でのジョイントパラメータ予測は、直接予測するよりもカメラ座標空間で高い精度を達成できるか？
• RQ4 ANCSH表現は、新しいインスタンスにおける遮蔽および形状変動に対する感受性をどの程度低減するか？
• RQ5 高次元のアーティキュレーテッドポーズ空間において、パーツポーズフィッティングとジョイント制約正則化を統合することは、独立したパーツ予測を上回る性能を発揮するか？

主な発見

• 提案されたANCSH表現により、テスト時にCADモデルを必要とせず、以前に見られなかったアーティキュレーテッドオブジェクトインスタンスの正確なカテゴリーレベルポーズ推定が可能になった。
• 統合最適化によるジョイント制約正則化は、特に複雑な構成下でもパーツポーズおよびスケール推定の精度を向上させた。
• 実世界の深度シーケンスにおいて、ラップトップで96.25%、キャビネットで92.3%、キャビネットで96.9%、おもちゃ列車で79.8%のAD精度を達成した。
• 挑戦的であるラップトップカテゴリでは、シーケンス1で97.5%および94.7%のAD精度を、シーケンス2で98.9%および99.0%のAD精度を達成し、先行研究の最先端手法を上回った。
• トレーニングに実世界データを一切使用しなかったにもかかわらず、インスタンスレベルベンチマークでSOTAと同等またはそれ以上の性能を達成し、特に遮蔽下でのジョイントパラメータおよび状態推定において顕著な優位性を示した。
• 重度の遮蔽下でも、NAOCS表現はパーツサイズやボックス予測が不正確であっても、信頼性の高いジョイント状態およびパラメータ推定を維持した。