[論文レビュー] Structured Feature Learning for Pose Estimation

Xiao Chu, Wanli Ouyang+2 more|arXiv (Cornell University)|Mar 30, 2016

Human Pose and Action Recognition参考文献 35被引用数 6

ひとこと要約

本稿では、畳み込み層を用いて実装された幾何変換カーネルを用いて、ボディジョイント間の空間的および共起関係を特徴マップレベルで直接モデル化する構造的特徴学習フレームワークを提案する。双方向木構造のメッセージパッシング機構を採用することで、特徴表現が向上し、最小限の後処理でLSPでは80.8%の平均PCP、FLICでは95.2%を達成し、従来手法を上回る最先端の性能を発揮した。

ABSTRACT

In this paper, we propose a structured feature learning framework to reason the correlations among body joints at the feature level in human pose estimation. Different from existing approaches of modelling structures on score maps or predicted labels, feature maps preserve substantially richer descriptions of body joints. The relationships between feature maps of joints are captured with the introduced geometrical transform kernels, which can be easily implemented with a convolution layer. Features and their relationships are jointly learned in an end-to-end learning system. A bi-directional tree structured model is proposed, so that the feature channels at a body joint can well receive information from other joints. The proposed framework improves feature learning substantially. With very simple post processing, it reaches the best mean PCP on the LSP and FLIC datasets. Compared with the baseline of learning features at each joint separately with ConvNet, the mean PCP has been improved by 18% on FLIC. The code is released to the public.

研究の動機と目的

• スコアマップ上ではなく、特徴マップレベルでボディジョイント間の構造的関係をモデル化することで、人体ポーズ推定の性能を向上させること。
• 肢の方向、隠蔽状態、衣服の外観といった豊富で詳細な情報を、特徴マップに保持し、より良いジョイント局所化を実現すること。
• 特徴とそれらの関節間関係を同時に学習可能なエンドツーエンドで訓練可能なフレームワークを構築すること。
• 双方向木構造を用いて、関連する近隣関節から有用な特徴を受信できる、効率的なメッセージパッシング機構を設計すること。

提案手法

• 標準の畳み込み層を用いて実装された幾何変換カーネルを導入し、異なるボディジョイントの特徴マップ間の空間的および共起関係をモデル化する。
• 相関関係のある関節同士の間で、双方向に情報を伝達できる木構造のメッセージパッシング機構を採用し、特徴表現を強化する。
• ConvNetバックボーンを用いて、エンドツーエンドの深層学習システムで特徴マップとその構造的関係を同時に学習する。
• 相対的関節位置のk-meansクラスタリングにより、1関節あたり複数のスコアマップを生成し、外観の変動を捉え、耐性を向上させる。
• 訓練の多様性を高めるために、水平反転と回転を含むデータ拡張を適用し、特にLSPのような小規模データセットに有効である。
• LSP（336×336入力、42×42出力）およびFLIC用に、異なる入力・出力解像度設定を用いたマルチスケール特徴学習戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 特徴マップレベルで関節間の構造的関係をモデル化することで、スコアマップ上で行う場合よりも優れたポーズ推定が可能になるか？
• RQ2 特徴マップに保持された豊富な多次元的情報（例：隠蔽状態、衣服、肢の方向）を、ジョイント予測に効果的に活用できるか？
• RQ3 関節間で相関する特徴を集約する構造的かつ学習可能な方法として、最適なメッセージパッシングアーキテクチャは何か？
• RQ4 単方向または非構造的なメッセージパッシングと比較して、双方向木構造は特徴学習をどのように改善するか？
• RQ5 特徴マップレベルで関節関係を学習することで、複雑な後処理パイプラインへの依存度はどの程度低下するか？

主な発見

• 提案手法はLSPデータセットで80.8%の平均PCPを達成し、従来の最先端手法を5.8%上回った。
• FLICデータセットでは95.2%の平均PCPを達成し、独立して特徴を学習するベースラインConvNetと比較して18%の向上を示した。
• 双方向木構造モデルは単一ブランチモデルと比較して5.4%の性能向上を示し、双方向情報伝達の有効性を裏付けた。
• 相対的関節位置のk-meansクラスタリングにより1関節あたり複数のスコアマップを生成する手法は、単一スコアマップ学習と比較して1.8%の追加的性能向上をもたらした。
• 最小限の後処理でも、複雑な後処理パイプラインに依存する最先端手法を上回った。
• 本手法は全身体部で一貫して性能向上を示し、特に下肢および上肢で最大の向上が観察された。これは、困難な関節に対しても優れた一般化性能を示している。