[論文レビュー] Deep Learning on Monocular Object Pose Detection and Tracking: A Comprehensive Overview

Zhaoxin Fan, Yazhi Zhu+4 more|arXiv (Cornell University)|May 29, 2021

Advanced Neural Network Applications被引用数 6

ひとこと要約

本論文は、インスタンスレベルおよびカテゴリーレベルのタスクを対象とし、RGB/RGBD入力を用いた深層学習ベースのモノクローラルオブジェクトポーズ検出およびトラッキングについて包括的なレビューを提供している。最先端の手法、指標、データセット、パフォーマンス比較を詳細に提示し、特にロボット工学や拡張現実（AR）などの実世界応用を念頭に、6Dポーズ推定における主な課題と今後の研究方向性を特定している。

ABSTRACT

Object pose detection and tracking has recently attracted increasing attention due to its wide applications in many areas, such as autonomous driving, robotics, and augmented reality. Among methods for object pose detection and tracking, deep learning is the most promising one that has shown better performance than others. However, survey study about the latest development of deep learning-based methods is lacking. Therefore, this study presents a comprehensive review of recent progress in object pose detection and tracking that belongs to the deep learning technical route. To achieve a more thorough introduction, the scope of this study is limited to methods taking monocular RGB/RGBD data as input and covering three kinds of major tasks: instance-level monocular object pose detection, category-level monocular object pose detection, and monocular object pose tracking. In our work, metrics, datasets, and methods of both detection and tracking are presented in detail. Comparative results of current state-of-the-art methods on several publicly available datasets are also presented, together with insightful observations and inspiring future research directions.

研究の動機と目的

• RGB/RGBD入力に限定して、モノクローラルオブジェクトポーズ検出およびトラッキングにおける深層学習ベースの手法について、詳細かつ最新のレビューを提供すること。
• インスタンスレベルおよびカテゴリーレベルのモノクローラルオブジェクトポーズ検出およびトラッキングのタスク定式化を明確にし、入力、出力、技術的範囲を定義すること。
• 標準化された指標を用いて、複数の公開データセット上で最先端の手法を体系的に比較し、パフォーマンスのトレンドと限界を浮き彫りにすること。
• 現在のアプローチにおける主な課題、例えばモノクローラル画像からの深度推定、CADレンダリングの非効率性、トラッキングにおけるポーズドリフトを特定すること。
• 今後の研究方向性として、完全な9Dofトラッキング、微分可能レンダリング、マーカーフリーで高イントラクラス変動を示すデータセットの構築を提案すること。

提案手法

• 本研究は、入力モodal（RGB/RGBD）、タスクタイプ（インスタンスレベル対カテゴリーレベル）、出力形式（6Dまたは9Dポーズ）に基づいて、モノクローラル6Dオブジェクトポーズ検出およびトラッキング手法を体系的に分類する。
• 標準的な指標（例：回転誤差および並進誤差、平均回転誤差や平均並進誤差など）を用いて手法を評価し、YCB、LINEMOD、NOCSなどのベンチマークデータセット上で定量的な結果を報告する。
• 2Dオブジェクト検出パイプラインと3Dポーズ予測の統合を分析し、トレーニング時にCADモデルを用いた監視およびレンダリングを活用する。
• トラッキングの観点から、再帰的ニューラルネットワーク（例：LSTM）を用いて複数フレームの時間的依存性を活用し、ドリフトと誤差の蓄積を低減する手法を検討する。
• 微分可能レンダリング技術の役割を評価し、特に実際の深度監視が存在しない状況において、トレーニングの効率性とエンドツーエンド学習を向上させることの重要性を強調する。
• 今後の研究として、NeRFベースのシーン表現およびオープンソースでマーカーフリーな9Dofアノテーションツールの開発を提言し、一般化性能と実世界応用性の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 深層学習を用いたモノクローラルオブジェクトポーズ検出において、インスタンスレベルとカテゴリーレベルの主な技術的差異とパフォーマンスのトレードオフは何か？
• RQ2 ステレオまたは深度センサが利用できない状況において、現在の深層学習ベースの手法は、モノクローラル深度推定と3D再構築の課題をどのように処理しているか？
• RQ3 現在のモノクローラルオブジェクトポーズトラッキング手法の主な限界は何か。特に、誤差の蓄積、ドリフト、および2フレーム（現在と直前のフレーム）のみに依存する点について説明せよ。
• RQ4 現在のデータセットおよびアノテーション手法（例：マーカーベースの真値）は、どれほどバイアスを生じさせ、実世界への一般化を制限しているか？
• RQ5 CADモデルを一切使用せずに、ロボット工学や拡張現実（AR）のような応用に適した、回転およびサイズ認識可能な完全な9Dof（回転、並進、サイズ）カテゴリーレベルのオブジェクトポーズトラッキングを実現するための、最も有望な今後の研究方向性は何か？

主な発見

• 標準的なベンチマーク（例：LINEMOD や YCB）において、制御された条件下で最先端の手法は平均回転誤差が5°未満、平均並進誤差が5cm未満を達成している。
• カテゴリーレベルの検出手法は、同じカテゴリに属するオブジェクトインスタンス間で優れた一般化性能を示すが、イントラクラス変動が著しい未学習インスタンスでは性能が著しく低下する。
• 現在のフレーム2つ（現在と直前）のみを用いるトラッキング手法は、誤差の蓄積とドリフトが顕著であり、長時間のシーケンスにおいて性能が著しく低下する。
• LSTMなどの再帰的ネットワークを用いることで、複数フレームの文脈をより効果的に活用でき、ドリフトの低減と滑らかさの向上により、トラッキングの安定性と時間的整合性が向上する。
• 非微分可能または非効率的なCADレンダラに依存する現在の手法は、高いトレーニングコストを伴い、微分可能レンダリングがエンドツーエンド学習の鍵となることが明らかになった。
• 9Dofカテゴリーレベルトラッキングを達成しているのは、Wangら（2020b）の1つの手法にとどまっていることから、拡張現実（AR）のような回転およびサイズ認識が求められる応用分野において、大きな研究ギャップが存在することが示された。