[論文レビュー] Maximum-Margin Structured Learning with Deep Networks for 3D Human Pose Estimation

Sijin Li, Weichen Zhang+1 more|arXiv (Cornell University)|Aug 27, 2015

Human Pose and Action Recognition参考文献 30被引用数 25

ひとこと要約

本稿では、入力の単眼画像から3次元人体ポーズ推定を行うための深層最大マージン構造的学習フレームワークを提案する。画像とポーズの埋め込み空間を統合的に用い、スコア関数は学習された埋め込みの内積として定義される。マージン損失を用いて訓練されたモデルは、Human3.6Mで最先端の性能を達成しており、可視化結果から、視点や四肢配置といったポーズ属性の意味的分離がなされていることが示されている。

ABSTRACT

This paper focuses on structured-output learning using deep neural networks for 3D human pose estimation from monocular images. Our network takes an image and 3D pose as inputs and outputs a score value, which is high when the image-pose pair matches and low otherwise. The network structure consists of a convolutional neural network for image feature extraction, followed by two sub-networks for transforming the image features and pose into a joint embedding. The score function is then the dot-product between the image and pose embeddings. The image-pose embedding and score function are jointly trained using a maximum-margin cost function. Our proposed framework can be interpreted as a special form of structured support vector machines where the joint feature space is discriminatively learned using deep neural networks. We test our framework on the Human3.6m dataset and obtain state-of-the-art results compared to other recent methods. Finally, we present visualizations of the image-pose embedding space, demonstrating the network has learned a high-level embedding of body-orientation and pose-configuration.

研究の動機と目的

• 回帰ベースの3次元ポーズ推定の限界、例えば関節間の依存関係の不十分なモデル化や、高次元探索空間におけるスケーラビリティの問題を解消すること。
• 識別的スコア関数を用いて、深層画像およびポーズ特徴埋め込みを同時に最適化することで、構造的出力学習を改善すること。
• コンactな、識別的な埋め込み空間を学習することで、大規模な候補ポーズ集合に対する効率的な推論を可能にすること。
• 人体ポーズの高レベルな意味的属性（例：ボディの向き、四肢の配置）を捉える統合的埋め込みを学習すること。

提案手法

• 畳み込みニューラルネットワーク（CNN）が、入力の単眼画像から画像特徴を抽出する。
• 別個のサブネットワークが、画像特徴と3次元ポーズ入力を、共有された統合埋め込み空間に変換する。
• スコア関数は、画像埋め込みとポーズ埋め込みの内積として定義され、両者の類似度を表す。
• 全ネットワークは、正例（真の画像-ポーズペア）のスコアが誤り例よりも高いように制約を課す最大マージン損失を用いて、エンドツーエンドで訓練される。
• マージンは、ポーズ間のMPJPE（1関節あたり平均位置誤差）に基づき、トポロジカルに意味のある埋め込み空間を誘導する。
• 候補ポーズのポーズ埋め込みは事前に計算可能であり、テスト時の高速推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、3次元人体ポーズの構造的依存関係を捉える、識別的な画像およびポーズ埋め込みを同時に学習できるか？
• RQ2 標準的な回帰や分類と比較して、最大マージン訓練目的は、3次元ポーズ推定における一般化性能とロバストネスを向上させるか？
• RQ3 学習された埋め込み空間は、視点や四肢配置といった意味的な属性を適切に分離できるか？
• RQ4 本手法は、Human3.6Mなどのベンチマークデータセットにおいて、最先端の手法と比較してどのように性能を発揮するか？

主な発見

• 本モデルは、Human3.6Mデータセットの非公開テストセットで最先端の性能を達成し、平均MPJPEが92.70 mmであった。
• 学習画像において、予測されたスコア上位のポーズが真のポーズと30 mm未満のMPJPEで一致する確率は97%であった。
• 学習された埋め込み空間の可視化結果から、上位2つの主成分がそれぞれボディの向きと脚の配置を符号化していることが示された。
• 画像埋め込みとポーズ埋め込みは良好に整合しており、最大スコアを示したポーズの97%が真のポーズと30 mm未満のMPJPEで一致した。
• オフラインでポーズ埋め込みを事前計算できるため、本フレームワークは大規模な候補ポーズ集合に対する効率的な推論を可能にし、一般化性能が優れている。
• 最大マージン制約のおかげで、時間的系列情報を利用しなくても、埋め込み空間は滑らかでトポロジカルに構造的であることが分かった。