[論文レビュー] Towards Self-Supervised Category-Level Object Pose and Size Estimation

Yisheng He, Haoqiang Fan+3 more|arXiv (Cornell University)|Mar 6, 2022

Robotics and Sensor-Based Localization被引用数 9

ひとこと要約

本論文は、1枚の深度画像からカテゴリレベルのオブジェクトポーズおよびサイズ推定を自己教師付きフレームワークで行う手法を提案する。6Dポーズラベルの高コストなアノテーションを不要にする。微分可能形状変形、点群登録、微分可能レンダリングを組み合わせることで、レンダリング済み点群と観測点群の幾何的整合性を強制し、実世界のデータセットにおいて完全教師あり手法と同等の性能を達成する。

ABSTRACT

In this work, we tackle the challenging problem of category-level object pose and size estimation from a single depth image. Although previous fully-supervised works have demonstrated promising performance, collecting ground-truth pose labels is generally time-consuming and labor-intensive. Instead, we propose a label-free method that learns to enforce the geometric consistency between category template mesh and observed object point cloud under a self-supervision manner. Specifically, our method consists of three key components: differentiable shape deformation, registration, and rendering. In particular, shape deformation and registration are applied to the template mesh to eliminate the differences in shape, pose and scale. A differentiable renderer is then deployed to enforce geometric consistency between point clouds lifted from the rendered depth and the observed scene for self-supervision. We evaluate our approach on real-world datasets and find that our approach outperforms the simple traditional baseline by large margins while being competitive with some fully-supervised approaches.

研究の動機と目的

• カテゴリレベルオブジェクトポーズおよびサイズ推定における高コストなアノテーション、特に6Dポーズラベルの課題に対処すること。
• 大規模なラベルなし深度データを活用した自己教師付き学習のためのラベルフリーな学習フレームワークを開発すること。
• テンプレートメッシュと観測シーンの間の部分的から完全的への不一致を分離すること。
• 正確なCADモデルに依存せずに、クラス内形状変動に対する一般化を向上させること。
• 完全教師あり手法と同等の性能を、自己教師付き学習のみで達成すること。

提案手法

• 微分可能形状変形ネットワークを訓練し、粗い点群を監視として用いてカテゴリーテンプレートメッシュをターゲットオブジェクトの形状に変形する。
• 部分的から完全的への登録ネットワークが、変形済みメッシュ点群と観測シーン点群を一致させることでポーズおよびスケールを推定する。
• 微分可能レンダラが変換および変形されたメッシュから深度画像を生成し、レンダリング済み点群を生成する。
• レンダリング済み点群と観測点群の幾何的整合性を、再構成誤差を最小化する自己教師付き損失により強制する。
• レンダリングアーチファクトを防ぐために、外向きを向いた法線を保持するための正規方向整合性損失を導入する。
• 多スケール幾何的強化により、局所的およびグローバルな幾何的コンテキストを用いて変形をガイドする。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き学習は、カテゴリレベルオブジェクトポーズおよびサイズ推定において、完全教師あり学習を効果的に置き換えることができるか？
• RQ2 弱教師あり設定において、形状、ポーズ、スケールのばらつきをどのように分離できるか？
• RQ3 粗い点群は、メッシュ変形を監視するために正解メッシュに代わってどの程度代替可能か？
• RQ4 変形中の正規方向整合性は、レンダリング品質および下流タスクの性能にどのように影響するか？
• RQ5 1つのテンプレートメッシュは、同じカテゴリに属する多様なオブジェクトインスタンスに一般化可能か？

主な発見

• 提案手法はYCB-Videoデータセットにおいて、従来のベースラインを大きく上回り、ランダムなテンプレートメッシュを用いた変形後、平均CD誤差が2.40×10−3に達する。
• 粗い点群を監視として用いることで、平均チェンバーカルフ距離は2.00×10−3にまで低下し、正解メッシュ監視の性能（1.93×10−3）に近づく。
• 正規方向整合性損失により、チェンバーカルフ距離が0.08×10−3低下し、IoU@75 APが0.5%向上し、レンダリングアーチファクトが顕著に減少する。
• メッシュ変形ネットワークは、異なるテンプレートメッシュに対しても堅牢に一般化され、ランダムテンプレートではCD誤差が50%低下し、先行研究のテンプレート性能と同等となる。
• 正解ポーズラベルを一切使用しないにもかかわらず、一部の完全教師ありアプローチと同等の性能を達成する。
• 全パイプラインはリアルタイムで動作し、1GPUで1オブジェクトあたり727ms（変形：23ms、登録：696ms、レンダリング：8ms）の推論時間である。