[論文レビュー] Learning Visual Symbols for Parsing Human Poses in Images

Fang Wang, Yi Li|arXiv (Cornell University)|Apr 23, 2013

Human Pose and Action Recognition参考文献 20被引用数 4

ひとこと要約

本稿では、画像特徴から自己完結的な視覚的記号を学習し、交差検証を用いたラティントSVMを用いて幾何的文脈に基づいて部品の外観を分類することで、人体ポーズ解析のための新規手法を提案する。この手法は、身体部の間の細分化された記号的幾何的関係をモデル化し、木構造のグラフィカルモデル上で効率的な正確な推論を可能にし、PARSEおよびLSPデータセットでそれぞれ75.7%および65.2%の総合検出精度を達成し、最先端の性能を示した。

ABSTRACT

Parsing human poses in images is fundamental in extracting critical visual information for artificial intelligent agents. Our goal is to learn self-contained body part representations from images, which we call visual symbols, and their symbol-wise geometric contexts in this parsing process. Each symbol is individually learned by categorizing visual features leveraged by geometric information. In the categorization, we use Latent Support Vector Machine followed by an efficient cross validation procedure to learn visual symbols. Then, these symbols naturally define geometric contexts of body parts in a fine granularity. When the structure of the compositional parts is a tree, we derive an efficient approach to estimating human poses in images. Experiments on two large datasets suggest our approach outperforms state of the art methods.

研究の動機と目的

• ポーズ推定における粗い、特徴のない身体部表現の限界を解消し、推論が困難になるのを防ぐため。
• 外観と幾何的特徴を用いて、自己完結的で識別性の高い視覚的記号を、構成的身體部に対して学習するため。
• 記号ごとの幾何的関係をモデル化することで、全体の分布よりも細分化された部品間の関係をより正確に捉え、ポーズ解析の精度を向上させるため。
• ポーズモデルを木構造にすることで、近似推論手法を避けて、効率的かつ正確な推論を可能にするため。
• 最先端の手法と比較して、大規模なベンチマークで優れた性能を示すため。

提案手法

• ヒストグラム・オブ・オリエンテッド・グレーディエント（HOG）特徴を用いて画像パッチを分類し、交差検証を伴うラティントSVMを適用することで、視覚的記号を学習する。
• 各記号は、身体部の明確な視覚的パターンを表し、外観と幾何的配置を捉える。
• 記号ごとの幾何的文脈は、部品間の細分化された確率分布としてモデル化され、全体の分布と比較して分散を低減する。
• ポーズ解析モデルは木構造に設計されており、動的計画法などの手法を用いて効率的な正確な推論が可能である。
• 本手法は、部品が階層的（例：上腿と下腿）または平坦な構造を持つコンポジショナルな部品階層を用いることで、柔軟なモデリングを可能にする。
• 最終的なポーズは、部品検出項と幾何的文脈項を組み合わせた構造スコア関数を最大化することで推定される。

実験結果

リサーチクエスチョン

• RQ1 画像データから自己完結的な視覚的記号を効果的に学習することで、人体ポーズ解析の性能を向上させることができるか？
• RQ2 記号ごとの幾何的文脈は、全体の分布と比較して、身体部間の細分化された関係をより正確にモデル化できるか？
• RQ3 学習済み記号を用いた木構造モデルは、近似手法と比較して、より高速かつ正確な推論を可能にするか？
• RQ4 このアプローチは、大規模で困難なデータセットにおいて、最先端の手法を上回る性能を示せるか？
• RQ5 本手法は、記号に基づく推論によって、遮蔽や曖昧なポーズをどのように処理するか？

主な発見

• PARSEデータセットでは、75.7%の総合検出精度を達成し、YangとRamanan（2011）の74.9%をわずかに上回った。
• より困難なLSPデータセットでは、65.2%の総合検出精度を達成し、JohnsonとEveringham（2011）の62.7%を上回り、比較対象のすべての手法を上回った。
• Tianら（2012）の5モデル（61.3%）およびAndrilukaら（2009）（47.1%）を上回ったことから、困難なケースに対しても頑健であることが示された。
• 性能向上の要因は、記号分類による細分化された幾何的文脈のより良いモデリングであり、これにより部品位置の分布の分散が低減された。
• 1.5秒／320×240画像という競争力のある推論速度を達成し、YangとRamanan（2011）と同等の速度であったが、ローリー・ベリーフ・プロパゲーションではなく正確な推論を用いた。
• 視覚的結果では、記号に従う幾何的制約のおかげで、脚の区別が明確になり、自己遮蔽の処理がより自然で整合性のあるポーズ推定がなされた。