[論文レビュー] Recent Advances in 3D Object and Hand Pose Estimation

Vincent Lepetit|arXiv (Cornell University)|Jun 10, 2020

Human Pose and Action Recognition参考文献 81被引用数 10

ひとこと要約

本稿は、単眼、ステレオ、RGB-Dカメラを用いた3次元物体および手のポーズ推定分野における最近の進展をレビューし、画像から直接3次元ポーズを予測するディーブラーニングベースの手法に焦点を当てる。ボクセル化された特徴グリッドを用いた3次元キーポoin回帰とLSTMによる時系列モデリングを統合したエンドツーエンドフレームワークにより、マーカーやセンサーを一切使用せず、正確でリアルタイムの推定が可能となり、自然なARインタラクションを実現する。

ABSTRACT

3D object and hand pose estimation have huge potentials for Augmented Reality, to enable tangible interfaces, natural interfaces, and blurring the boundaries between the real and virtual worlds. In this chapter, we present the recent developments for 3D object and hand pose estimation using cameras, and discuss their abilities and limitations and the possible future development of the field.

研究の動機と目的

• カメラベースのコンピュータビジョンを用いた3次元物体および手のポーズ推定分野における最近の進展を包括的に概説すること。
• マーカーレスでリアルタイムな3次元ポーズ推定における主な課題、特に遮蔽、視点の変化、新規物体への一般化性を特定すること。
• 特に3次元キーポイント回帰と時系列モデリングを用いるディープラーニング技術の有効性を評価し、強固で正確なポーズ推定を実現すること。
• 現在のベンチマークの限界を議論し、未確認の物体や現実世界の条件への一般化の必要性を強調すること。
• 単一のRGBまたはRGB-D画像から、エンドツーエンドの学習フレームワークを用いて、手と物体のポーズを同時に推定する可能性を検討すること。

提案手法

• 3次元ボクセルセルの離散化されたグリッド内で回帰することで、3次元キーポイント位置を予測する深層ニューラルネットワークを用い、セルごとの信頼度とオフセット予測により、サブセルレベルの精度を実現する。
• 手と物体の両方のポーズに共通の3次元キーポイント表現を採用することで、損失関数の計算を一貫性を持たせ、異なるポーズタイプ間の損失重み調整の必要性を排除する。
• 長短期記憶（LSTM）ネットワークを統合し、動画フレーム間の時系列的整合性をモデリングすることで、ポーズの安定性を向上させ、動作認識を可能にする。
• 予測された2次元関節位置と方向ベクトルを3次元ハンドメッシュにフィットさせるためにMANOハンドモデルを活用し、リアルなハンド形状とポーズ推定を実現する。
• HOnnotateフレームワークを用いて、実世界のRGB-Dシーケンスを自動でアノテーションし、3次元ハンドおよび物体ポーズを付与することで、学習用のHO-3Dデータセットを構築する。
• 時間的整合性を活用した共同最適化戦略を採用することで、遮蔽やノイズに強く、よりロバストな3次元ポーズ推定を実現する。

実験結果

リサーチクエスチョン

• RQ1 マーカーやセンサーを一切使用せず、RGBまたはRGB-Dカメラのみを用いて、リアルタイムで3次元物体および手のポーズ推定をどのようにして強固に実現できるか？
• RQ2 2次元画像からエンドツーエンドの3次元キーポイント回帰を実現するにあたり、最も効果的なディープラーニングアーキテクチャは何か？ また、その精度と一般化性能を最適化するにはどうすればよいか？
• RQ3 LSTMによる時系列モデリングは、動画シーケンスにおける3次元ポーズ推定の安定性と精度をどの程度向上させ得るか？
• RQ4 3次元モデルが入手不可な状況において、ディープラーニングモデルがトレーニング時に見られなかった新規物体に一般化できるか？
• RQ5 6次元ポーズ（回転＋平行移動）と3次元キーポイント集合といった、異なるポーズ表現は、性能と学習効率にどのように影響を与えるか？

主な発見

• ボクセル化された特徴グリッドを用いた3次元キーポイント回帰手法は、セルベースの局所化とサブボクセルオフセット予測を組み合わせることで、部分的遮蔽下でも高い精度を達成する。
• 共通の3次元キーポイント表現を用いた手と物体のポーズ同時推定により、損失重みのバランス調整の必要性がなくなり、トレーニングが簡素化される。
• LSTMを用いた時系列モデリングの導入により、ポーズの安定性が顕著に向上し、把持や回転といった操作行動の認識が可能になる。
• HOnnotateフレームワークは、大規模で自動アノテーションされたRGB-Dシーケンスを正確に生成し、HO-3Dベンチマークデータセットを構築するのに成功した。
• HO-3Dで学習したモデルは、トレーニングデータに含まれなかった物体や手に対しても良好に一般化することができ、強力なゼロショット一般化能力を示した。
• 進展は見られるものの、データセットやカメラタイプによる性能差は依然として顕著であり、特に照明が悪い状況や、新しい形状の物体に対しては、現実世界でのロバスト性が課題のまま残っている。