[論文レビュー] Articulated Pose Estimation by a Graphical Model with Image Dependent Pairwise Relations

Xianjie Chen, Alan Yuille|arXiv (Cornell University)|Jul 12, 2014

Human Pose and Action Recognition参考文献 27被引用数 328

ひとこと要約

本稿では、画像に依存するペairワイズ関係（IDPRs）を活用して空間的推論を向上させる、関節部品の姿勢推定のためのグラフィカルモデルを提案する。局所的な画像パッチから部位の存在と相対的な関節位置を予測する深層畳み込みニューラルネットワーク（DCNN）を用いることで、グラフィカルモデルの柔軟性とDCNNの表現力の両方を活かし、LSPおよびFLICでは最先端の性能を達成するとともに、微調整なしでBuffyデータセットに対しても強力なゼロショット一般化を実現した。

ABSTRACT

We present a method for estimating articulated human pose from a single static image based on a graphical model with novel pairwise relations that make adaptive use of local image measurements. More precisely, we specify a graphical model for human pose which exploits the fact the local image measurements can be used both to detect parts (or joints) and also to predict the spatial relationships between them (Image Dependent Pairwise Relations). These spatial relationships are represented by a mixture model. We use Deep Convolutional Neural Networks (DCNNs) to learn conditional probabilities for the presence of parts and their spatial relationships within image patches. Hence our model combines the representational flexibility of graphical models with the efficiency and statistical power of DCNNs. Our method significantly outperforms the state of the art methods on the LSP and FLIC datasets and also performs very well on the Buffy dataset without any training.

研究の動機と目的

• 局所的な画像コンテキストに適応する空間的関係をモデル化することで、関節部品間の空間的関係を改善すること。
• 固定された、データに依存しないペアワイズ事前分布が、可変な人間のポーズに対しては柔軟性に欠けたり、過度に拘束的だったりするという限界を克服すること。
• DCNNを用いて画像に依存する特徴を抽出することで、構造的予測と深層学習を統合し、部位検出と相対的関節位置の両方のための共通の特徴学習を可能にすること。
• 微調整なしに、データセット間で強力な一般化性能を達成すること、特にBuffyデータセットにおけるゼロショット性能を含む。

提案手法

• 本手法は、ノードが身体部位を表し、エッジが空間的関係を表すKノードの木構造的グラフィカルモデルとして人間のポーズをモデル化する。
• 単一項項は、各関節位置の周囲の局所的画像パッチに基づいて部位の存在を推定するDCNNを用いる。
• ペアワイズ項は画像に依存し、空間的関係のタイプの混合モデルとしてモデル化され、相対的位置は局所的な画像コンテキストから学習される。
• スコア関数は単一項の外観項と画像に依存するペアワイズ関係項を組み合わせており、パラメータは構造的SVMを用いて学習される。
• 空間的関係はタイプに離散化され、平均相対位置と二次変形項を用いて局所的なばらつきをモデル化する。
• DCNNは局所的画像パッチから部位の存在とペアワイズ関係タイプの両方を予測するように訓練され、部位と関係の両方における共通の特徴学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 関節の周囲の局所的画像パッチは、関節の検出に加えて、その周辺の関節の相対的位置を予測するのに信頼できる情報を提供できるか？
• RQ2 固定された事前分布ではなく、画像に依存するペアワイズ関係をモデル化することで、ポーズ推定の精度が向上するか？
• RQ3 グラフィカルモデルとDCNNを組み合わせたハイブリッドモデルは、エンドツーエンドの深層学習アプローチよりも優れた性能と一般化能力を達成できるか？
• RQ4 画像に依存するペアワイズ関係の導入が、標準ベンチマークおよびゼロショット設定での性能にどのように影響するか？

主な発見

• 本手法はLSPデータセットで最先端の性能を達成し、フルモデルで厳密なPCPスコア75.0%を記録し、ベースライン手法を顕著に上回った。
• FLICデータセットでは、以前の最先端手法を上回り、部位の局所化と空間的推論の両面で優れた精度を示した。
• Buffyデータセットでは、トレーニングなしで92.9%の平均PCPを達成し、強力なゼロショット一般化能力を示した。
• アブレーションスタディの結果、画像に依存するペアワイズ関係（No-IDPRs）を除去するとPCPが64.6%に低下し、単一項のみを用いると40.5%にまで低下するなど、IDPRsの重要性が明確に示された。
• BuffyにおけるPDJ曲線では、本手法がDeepPoseや他の最先端手法を上回っており、特に高い閾値領域で顕著な優位性を示し、より良い一般化性能を確認した。
• IDPRsによる性能向上は、下肢や遮蔽下の困難な部位で顕著に現れ、より高いロバストネスを示している。