[論文レビュー] HO-3D: A Multi-User, Multi-Object Dataset for Joint 3D Hand-Object Pose Estimation.

Shreyas Hampali, Markus Oberweger+2 more|arXiv (Cornell University)|Jul 2, 2019

Hand Gesture Recognition Systems参考文献 71被引用数 18

ひとこと要約

HO-3D は、RGB-D およびサイドビューのカラー・カメラを用いた 3D ハンド＋オブジェクトポーズ推定のための、新しいマルチユーザー・マルチオブジェクトデータセットを導入する。このデータセットは、深度、カラー、時間的制約を統合するグローバル最適化手法を用いて、効率的なアノテーションを可能にする。この手法により、単一のカラー画像から新たな 3D ポーズ推定器を学習可能となり、実世界のハンド・オブジェクト相互作用モデリングにおけるデータ効率性とスケーラビリティが向上する。

ABSTRACT

We propose a new dataset for 3D hand+object pose estimation from color images, together with a method for efficiently annotating this dataset, and a 3D pose prediction method based on this dataset. The current lack of training data makes the 3D hand+object pose estimation very challenging. This lack is due to the complexity of labeling many real images with both 3D poses and of generating synthetic images with various realistic interaction. Moreover, even if synthetic images could be used for training, annotated real images are still needed for validation. To tackle this challenge, we capture sequences with a simple setup made of a single RGB-D camera. We also use a color camera imaging the sequences from a side view, but only for validation. We introduce a novel method based on global optimization that exploits depth, color, and temporal constraints for efficiently annotating the sequences, which we use to train another novel method that predicts both the 3D poses of the hand and the object from a single color image. Our hope is to encourage other researchers to develop better annotation methods for our dataset: One can then apply such method to capture and easily annotate sequences captured with a single RGB-D camera to easily create additional training data thus solving one of the main problems of 3D hand+object pose estimation.

研究の動機と目的

• 3D ハンド＋オブジェクトポーズデータの実際のアノテーションが不足していることによる、3D ハンド・オブジェクトポーズ推定分野の進展を妨げる要因を解消すること。
• 深度、カラー、時間的データを活用して、実際の RGB-D シーケンスにおける複雑なハンド・オブジェクト相互作用を効率的にラベル付けするアノテーションパイプラインを開発すること。
• 単一の RGB-D カメラとサイドビューのカラー・カメラを用いて、検証用にスケーラブルなデータ収集およびアノテーションフレームワークを構築すること。
• 新たに収集したデータセットを用いて、単一のカラー画像から関節のハンドおよびオブジェクトポーズを予測する 3D ポーズ推定モデルを学習すること。
• 将来的な研究を促進するため、追加の実世界シーケンスを含めることが可能な自動アノテーション手法の開発を促すこと。

提案手法

• グローバル最適化フレームワークを用いて、深度、カラー、時間的整合性項を組み合わせたコスト関数を最小化することで、3D ハンドおよびオブジェクトポーズを同時に推定する。
• アノテーション手法は、動画フレーム間の時間的整合性を活用することで、ポーズ推定の正確性を向上させるとともに、ラベリング作業の負担を軽減する。
• アノテーション中に追加の監視信号を提供するために、サイドビューのカラー・カメラが使用され、完全な 3D グラウンド・トリゥを必要とせずに正確性を向上させる。
• 深度およびカラー・データからの幾何的および外観的制約を活用することで、ハンド・オブジェクト相互作用における曖昧さを解消する。
• 最終的なポーズ推定モデルは、アノテート済みデータセット上でエンド・ツー・エンドに学習され、単一の RGB イメージから 3D ハンドおよびオブジェクトキーポイントの位置を予測する。
• このフレームワークは拡張可能であり、将来的に同じ設定で撮影された新しいシーケンスに新しいアノテーション手法を適用可能である。

実験結果

リサーチクエスチョン

• RQ1 深度、カラー、時間的データを統合するグローバル最適化アプローチは、実際の RGB-D シーケンスにおける 3D ハンド＋オブジェクトポーズの効率的かつ正確なアノテーションを可能にするか？
• RQ2 提案されたアノテーション手法は、高い正確性を維持しつつ、ラベリングの複雑さをどの程度軽減できるか？
• RQ3 HO-3D データセットで学習された 3D ポーズ推定器は、単一のカラー画像から未観測のハンド・オブジェクト相互作用に一般化できるか？
• RQ4 サイドビューのカラー・カメラの使用は、完全な 3D 監視なしに、どの程度アノテーション品質を向上させるか？
• RQ5 提案されたパイプラインは、単一の RGB-D カメラで撮影された新しいシーケンスから、追加のトレーニングデータを生成するために拡張可能か？

主な発見

• 提案されたグローバル最適化手法により、深度、カラー、時間的制約を活用することで、3D ハンド＋オブジェクトポーズの効率的かつ正確なアノテーションが可能になった。
• サイドビューのカラー・カメラの使用により、追加の幾何的および外観的手がかりが得られ、アノテーションの正確性が向上した。
• 得られた HO-3D データセットはマルチユーザーおよびマルチオブジェクトの相互作用をサポートしており、多様性と現実性が向上した。
• 学習済みの 3D ポーズ推定器は、単一カラー画像推論において競争力のある性能を達成しており、データセットの有用性を示している。
• フレームワークはスケーラブルかつ拡張可能であり、将来的に、最小限のハードウェアで撮影された新しいシーケンスに、改善されたアノテーション手法を適用可能である。
• データセットおよびアノテーションパイプラインは、高価な 3D アノテーションへの依存を低減するように設計されており、将来的なモデルのデータ収集を加速する。