[論文レビュー] Learning to Search on Manifolds for 3D Pose Estimation of Articulated Objects

Yu Zhang, Chi Xu+1 more|arXiv (Cornell University)|Dec 2, 2016

Human Pose and Action Recognition参考文献 5被引用数 10

ひとこと要約

本稿では、リーマン多様体上での構造的予測問題として、アーチレートドオブジェクトの3次元ポーズ推定を定式化する深層学習手法を提案する。畳み込みニューラルネットワーク（CNN）を用いて、リー群上の接ベクトルを逐次的に予測することで関節位置を推定する。本手法は、人間の手、マウス、フィッシュのベンチマークで最先端の性能を達成し、リアルタイム推論（30 FPS以上）が可能であり、特に逐次推論バージョン（deep-L2S-seq）により顕著な精度向上を達成した。

ABSTRACT

This paper focuses on the challenging problem of 3D pose estimation of a diverse spectrum of articulated objects from single depth images. A novel structured prediction approach is considered, where 3D poses are represented as skeletal models that naturally operate on manifolds. Given an input depth image, the problem of predicting the most proper articulation of underlying skeletal model is thus formulated as sequentially searching for the optimal skeletal configuration. This is subsequently addressed by convolutional neural nets trained end-to-end to render sequential prediction of the joint locations as regressing a set of tangent vectors of the underlying manifolds. Our approach is examined on various articulated objects including human hand, mouse, and fish benchmark datasets. Empirically it is shown to deliver highly competitive performance with respect to the state-of-the-arts, while operating in real-time (over 30 FPS).

研究の動機と目的

• 単一の深度画像から、関節構造がキネマティック制約によって制限される多様なアーチレートドオブジェクトの3次元ポーズ推定の課題に対処すること。
• 骨格モデルをリー群でパラメータ化することで、連続的かつ多様体値の出力空間として3次元ポーズ推定を構造的予測問題として定式化すること。
• 元来離散的出力に特化していた学習から探索（L2S）パラダイムを、連続的かつ多様体値の出力空間へと拡張すること。
• ポーズ多様体上の接ベクトルを直接回帰する、新規なCNNベースのフレームワークを構築し、エンド・ツー・エンドの学習とリアルタイム推論を可能にすること。
• 人間の手、マウス、フィッシュを含む複数のアーチレートドオブジェクトカテゴリにおいて、リアルタイム制約下でも優れた性能を示すこと。

提案手法

• 関節配置がリー群上に位置する骨格モデルとして3次元ポーズを表現し、キネマティック制約を符号化するポーズ多様体を形成する。
• 各関節の位置を、CNNによる接ベクトル回帰に基づく多様体上の逐次的探索としてポーズ推定タスクを定式化する。
• 2つのバリエーションを学習：deep-L2S-para（1つのCNNで全関節を同時に予測）とdeep-L2S-seq（複数のCNNを用いて関節ごとに逐次的精緻化）。
• 畳み込みニューラルネットワークを用いて、各ステップにおける多様体上での接ベクトルを回帰し、微分可能最適化とエンド・ツー・エンドの学習を可能にする。
• 前方運動学を活用して関節変換を3次元関節位置にマッピングし、予測ポーズの物理的妥当性を保証する。
• リー群理論を用いて剛体変換（回転と並進）をそれぞれSO(3)とR^3の要素としてモデル化し、出力空間の多様体構造を形成する。

実験結果

リサーチクエスチョン

• RQ1 3次元ポーズ推定において、学習から探索（L2S）パラダイムを離散的出力から連続的かつ多様体値の出力空間へ効果的に拡張できるか？
• RQ2 リー群上の接ベクトルの逐次的予測として3次元ポーズをモデル化することで、直接回帰と比較して精度と一般化性能がどのように向上するか？
• RQ3 複雑なアーチレートドオブジェクトにおいて、逐次的精緻化（deep-L2S-seq）が関節ごとの予測（deep-L2S-para）を上回るポーズ精度と耐障害性を示すか？
• RQ4 本手法は、手、マウス、フィッシュなど、骨格の複雑さが異なる多様なアーチレートドオブジェクトにどの程度一般化可能か？
• RQ5 本フレームワークは、最先端の精度を維持しつつ、リアルタイム性能（30 FPS以上）を達成できるか？

主な発見

• deep-L2S-seqはフィッシュベンチマークで最小の平均関節誤差（0.66 mm）を達成し、Lie-X（0.68 mm）や他のベースラインを上回った。
• NYU手部データセットでは、deep-L2S-seqの平均関節誤差は14.15 mmであり、Lie-X（14.59 mm）およびCNNベースライン（16.13 mm）を顕著に上回った。
• 視覚的比較において、deep-L2S-seqはdeep-L2S-paraおよびベースラインに対して一貫した改善を示し、特にずれた指関節の矯正において顕著であった。
• 累積誤差分布は、手部およびフィッシュベンチマークの5–80 mmの誤差範囲において、deep-L2S-seqが優れた性能を維持していることを確認した。
• リアルタイム推論速度（30 FPS以上）を達成し、実世界の応用における実用的妥当性を示した。
• 失敗事例は主にマウスデータのノイズの多い深度信号と、手部データの指の隠蔽に起因しており、入力品質および複雑な関節構造への感受性を示唆した。