[論文レビュー] DRPose3D: Depth Ranking in 3D Human Pose Estimation

Min Wang, Xipeng Chen+4 more|arXiv (Cornell University)|May 23, 2018

Human Pose and Action Recognition参考文献 20被引用数 10

ひとこと要約

DRPose3Dは、関節間の相対的奥行き順序（深度順序）を学習する幾何的Priorとして用いることで、3次元ポーズ回帰の性能を向上させる2段階の3次元人体ポーズ推定手法を提案する。Pairwise Ranking CNN（PRCNN）を用いて深度順序を予測し、2次元関節位置と組み合わせて粗いから細かい段階への3次元ポーズネットワーク（DPNet）を構築することで、Human3.6MベンチマークでSOTA性能を達成した。MPJPEは、プロトコル#1で57.8mm、プロトコル#2で42.9mm、プロトコル#3で62.8mmに低下し、プロトコル#1と#3の差が59.7%縮小された。

ABSTRACT

In this paper, we propose a two-stage depth ranking based method (DRPose3D) to tackle the problem of 3D human pose estimation. Instead of accurate 3D positions, the depth ranking can be identified by human intuitively and learned using the deep neural network more easily by solving classification problems. Moreover, depth ranking contains rich 3D information. It prevents the 2D-to-3D pose regression in two-stage methods from being ill-posed. In our method, firstly, we design a Pairwise Ranking Convolutional Neural Network (PRCNN) to extract depth rankings of human joints from images. Secondly, a coarse-to-fine 3D Pose Network(DPNet) is proposed to estimate 3D poses from both depth rankings and 2D human joint locations. Additionally, to improve the generality of our model, we introduce a statistical method to augment depth rankings. Our approach outperforms the state-of-the-art methods in the Human3.6M benchmark for all three testing protocols, indicating that depth ranking is an essential geometric feature which can be learned to improve the 3D pose estimation.

研究の動機と目的

• 2段階手法における2次元から3次元ポーズ回帰の不適切な定式化を解消するため、深度順序を学習可能な幾何的Priorとして導入すること。
• 絶対的な3次元座標よりも直感的で学習が容易な、深度順序に埋め込まれた豊富な3次元構造的情報を活用することで、3次元ポーズ推定の精度を向上させること。
• 仮想カメラビューの合成と深度順序への統計的ノイズの適用により、3次元空間における有効なデータ拡張を可能とし、モデルの一般化性能を向上させること。
• 深度順序が、3次元ポーズ推定の性能を顕著に向上させる強力で学習可能かつ拡張可能な幾何的特徴であることを示すこと。

提案手法

• すべての関節ペア間の深度順序を予測するため、問題を一連の2値分類タスクとして扱い、深度関係行列を生成する、Pairwise Ranking Convolutional Neural Network（PRCNN）を設計した。
• PRCNNはRGB画像と2次元ヒートマップ特徴を入力とし、関節ペアを比較するシアン型アーキテクチャを用い、一方の関節がz軸方向に他方より手前にあるかどうかを出力する。
• 粗いから細かい段階への3次元ポーズネットワーク（DPNet）を提案した。DPNetはDepthNetとPoseNetから構成され、DepthNetが多数の深度順序と整合する粗い深度値を最初に推定し、その後、微調整段階で3次元ポーズを精緻化する。
• 一般化性能の向上を図り、3次元ポーズとカメラパラメータを合成する統計的データ拡張手法を導入し、仮想ビューから現実的な2次元関節位置と深度順序行列を生成した。
• 被写体の周囲を円形にカメラをサンプリングすることで、多様な視点を模擬し、実データ分布に合わせて順序行列にノイズを追加した。
• 最終的な3次元ポーズは、2次元関節位置と深度順序行列を組み合わせて回帰し、DPNetが順序予測のノイズを効果的に低減した。

実験結果

リサーチクエスチョン

• RQ1 2次元から3次元ポーズ推定において、直接的な3次元座標回帰よりも、深度順序がより強固で学習可能な幾何的Priorとして機能するか？
• RQ2 深度順序を統合することで、2段階の3次元ポーズ推定モデルの性能と一般化性能がどのように向上するか？
• RQ3 深度順序を用いた3次元空間における有効なデータ拡張が可能か？また、その結果、未知のカメラアングルに対するモデルのロバスト性が向上するか？
• RQ4 DPNetの粗いから細かい段階の最適化は、ノイズの多い深度順序予測の影響をどの程度低減するか？
• RQ5 1枚の画像から深度順序を学習することは、エンドツーエンドまたは標準的な2段階手法よりも、より優れた3次元ポーズ推定をもたらすか？

主な発見

• DRPose3Dは、Human3.6Mベンチマークの全3つのテストプロトコルでSOTA性能を達成し、プロトコル#1で57.8mm、プロトコル#2で42.9mm、プロトコル#3で62.8mmのMPJPEを達成した。
• プロトコル#1とプロトコル#3のMPJPE差を104.7mmからわずか5.0mmに縮小し、未知のカメラ視点に対する強いロバスト性を示した。
• 深度順序を除去するとMPJPEが68.1mmに上昇し、深度順序が3次元ポーズ推定精度を顕著に向上させることを実証した。
• 粗いから細かい段階のDPNet設計により、ノイズの多い順序予測からの直接回帰と比較して3.2mmの誤差低減が達成され、ノイズ低減の有効性が裏付けられた。
• 深度順序の統計的データ拡張により、非拡張学習に比べ2.1mmの性能向上が得られ、一般化における価値を確認した。
• ResNet-34を用いた場合、PRCNNはプロトコル#1で91.22%の平均精度を達成し、肩関節ペアでは96.71%の精度を示し、信頼性の高い深度関係予測が可能であることを示した。