[論文レビュー] Back to RGB: 3D tracking of hands and hand-object interactions based on short-baseline stereo

Paschalis Panteleris, Antonis Argyros|arXiv (Cornell University)|May 15, 2017

Hand Gesture Recognition Systems参考文献 54被引用数 5

ひとこと要約

本論文は、深度再構成を回避するため、ステレオビュー間の色の一貫性を最大化する最適化問題として定式化することで、深度センサーを用いない従来の短基線RGBステレオカメラでの3Dハンドおよびハンドオブジェクトトラッキングを実現する新規なステレオベースの手法を提案する。本手法は、最新のRGBDベース手法と同等またはそれ以上の性能を達成し、深度センサーを搭載しない通常のステレオカメラでも、正確でリアルタイムな3Dハンドトラッキングを可能にする。

ABSTRACT

We present a novel solution to the problem of 3D tracking of the articulated motion of human hand(s), possibly in interaction with other objects. The vast majority of contemporary relevant work capitalizes on depth information provided by RGBD cameras. In this work, we show that accurate and efficient 3D hand tracking is possible, even for the case of RGB stereo. A straightforward approach for solving the problem based on such input would be to first recover depth and then apply a state of the art depth-based 3D hand tracking method. Unfortunately, this does not work well in practice because the stereo-based, dense 3D reconstruction of hands is far less accurate than the one obtained by RGBD cameras. Our approach bypasses 3D reconstruction and follows a completely different route: 3D hand tracking is formulated as an optimization problem whose solution is the hand configuration that maximizes the color consistency between the two views of the hand. We demonstrate the applicability of our method for real time tracking of a single hand, of a hand manipulating an object and of two interacting hands. The method has been evaluated quantitatively on standard datasets and in comparison to relevant, state of the art RGBD-based approaches. The obtained results demonstrate that the proposed stereo-based method performs equally well to its RGBD-based competitors, and in some cases, it even outperforms them.

研究の動機と目的

• 被動的で短基線のRGBステレオカメラのみを用いて、正確でリアルタイムなハンドおよびハンドオブジェクトインタラクションの3Dトラッキングを可能にすること。
• 手の形状が低テクスチャまたは均一色である場合に、ステレオ深度再構成がしばしばノイジーまたは疎であるという問題を回避するため、明示的な3D再構成を避けること。
• RGBDカメラなどの専用深度センサーを用いずに、高精度な3Dハンドトラッキングが可能であることを示すこと。
• 単一ハンドトラッキング、ハンドオブジェクトインタラクション、および2つのハンドの相互作用といった困難なシナリオでの手法の評価を行うこと。
• ステレオビュー間の色の一貫性が、3Dハンドポーズ推定のための強力で効果的な最適化目的関数として機能できることを示すこと。

提案手法

• 本手法は、与えられたハンドポーズの仮説に対して、左および右のステレオビュー間の光度的一致性を最大化する最適化問題として3Dハンドトラッキングを定式化する。
• 3Dハンドモデルを用いた生成的で、仮説と検証を繰り返すフレームワークを採用し、現在のポーズ仮説を両カメラビューに投影する。
• 最適化の目的関数は、2つのビューにおける対応するピクセル間の色差（例：L2ノルム）の合計であり、これを最小化することで最も一貫性の高いポーズを特定する。
• 高次元のハンドポーズ空間を効率的に探索するため、粒子群最適化（PSO）アルゴリズムが用いられる。
• 深度マップや視差推定を必要とせず、低テクスチャで均一色の手に起因するステレオマッチングの誤差を回避する。
• 公平な比較のため、前景セグメンテーションを一貫して適用しているが、性能に与える影響は最小限であることが示され、背景の雑音に対してもロバストであることが示された。

実験結果

リサーチクエスチョン

• RQ1 短基線RGBステレオカメラのみを用いて、深度センサーを一切使わずに正確な3Dハンドトラッキングが達成可能か？
• RQ2 ステレオ深度が信頼性の低い場合に、色的一致性に基づく最適化アプローチが、深度ベース手法を上回るか、同等の性能を示すか？
• RQ3 本手法は、RGBDセンサーが故障する屋外環境など、現実世界のシナリオにおいて、どの程度有効に機能するか？
• RQ4 前景セグメンテーションは、ステレオベース手法の性能にどの程度影響を与えるか？
• RQ5 本手法は、ハンドオブジェクト操作や2ハンドの協調動作といった複雑なインタラクションを処理できるか？

主な発見

• 提案手法は、特にHOおよびTHベンチマークで、最新のRGBDベース手法と同等またはそれ以上のトラッキング精度を達成した。
• THデータセットでは、PSOの計算予算を高く設定した場合、RGBDベースラインを上回った。これは、本手法の優れたスケーラビリティを示している。
• 屋外環境でも安定した性能を維持した。RGBDセンサーは赤外干渉のため故障するが、ステレオベースのトラッキングは依然として有効であった。
• 前景セグメンテーションは性能をわずかに向上させた（平均で0.3 mmの改善）。これは、本手法が正確なセグメンテーションがなくてもロバストであることを示している。
• ステレオから得られる深度マップを入力として与えた場合、本手法は深度ベース手法よりも著しく発散しにくく、直接的な深度再構成がハンドトラッキングのための劣悪な中間ステップであることを実証した。
• 計算効率が高く、リアルタイムアプリケーションに適している。後処理やセグメンテーションなしで、実世界のシーケンスにおいても性能を発揮した。