[論文レビュー] Human Pose Estimation with Spatial Contextual Information

Hong Zhang, Hao Ouyang+5 more|arXiv (Cornell University)|Jan 7, 2019

Human Pose and Action Recognition参考文献 54被引用数 63

ひとこと要約

本論文は Cascade Prediction Fusion (CPF) と Pose Graph Neural Network (PGNN) を導入し、空間的文脈情報を人間の姿勢推定に活用する。MPII と LSP において最小限の追加計算で最先端の結果を達成する。

ABSTRACT

We explore the importance of spatial contextual information in human pose estimation. Most state-of-the-art pose networks are trained in a multi-stage manner and produce several auxiliary predictions for deep supervision. With this principle, we present two conceptually simple and yet computational efficient modules, namely Cascade Prediction Fusion (CPF) and Pose Graph Neural Network (PGNN), to exploit underlying contextual information. Cascade prediction fusion accumulates prediction maps from previous stages to extract informative signals. The resulting maps also function as a prior to guide prediction at following stages. To promote spatial correlation among joints, our PGNN learns a structured representation of human pose as a graph. Direct message passing between different joints is enabled and spatial relation is captured. These two modules require very limited computational complexity. Experimental results demonstrate that our method consistently outperforms previous methods on MPII and LSP benchmark.

研究の動機と目的

• 姿勢推定における空間的文脈情報の重要性を動機づける。
• 補助段の予測と関節関係を活用する軽量なモジュールを提案する。
• CPF と PGNN を一般的な姿勢ネットワーク内でエンドツーエンドで訓練可能にする。
• MPII と LSP で計算オーバーヘッドを抑えつつ精度を改善する。

提案手法

• Cascade Prediction Fusion (CPF): 以前の段階からの補助予測を priors として段階的に統合し、後段の予測を導く。
• PGNN (Pose Graph Neural Network): 関節をグラフノードとしてモデル化し、エッジベースのメッセージ伝搬で空間関係を捉える。
• Graph construction: nodes for joints; edges encode neighboring joint relations; supports tree and loopy graph structures.
• Update mechanism: parallel node updates using a gated GRU-like update (no shared edge weights); combines new messages with memory.
• Training: end-to-end via L2 loss on predicted maps; uses BPTT for temporal extension risk, with an emphasis on spatial structure learning.
• Backbone compatibility: applies CPF and PGNN to ResNet-50 (modified with FPN and dilated convs) and Hourglass backbones.

実験結果

リサーチクエスチョン

• RQ1 CPF による空間的文脈情報を組み込むことで、姿勢推定段階間の洗練化がどのように向上するのか？
• RQ2 グラフベースのニューラルネットワーク（PGNN）は、関節間の空間関係を効果的にモデル化・伝搬して局在化を改善できるか？
• RQ3 CPF と PGNN は MPII および LSP の異なるバックボーンネットワーク間で一貫した性能向上を提供するか？

主な発見

方法	頭部	肩	肘	手首	腰	膝	足首	平均
Pishchulin et al. [36]	74.3	49.0	40.8	34.1	36.5	34.4	35.2	44.1
Tompson et al. [46]	95.8	90.3	80.5	74.3	77.6	69.7	62.8	79.6
Carreira et al. [5]	95.7	91.7	81.7	72.4	82.8	73.2	66.4	81.3
Tompson et al. [45]	96.1	91.9	83.9	77.8	80.9	72.3	64.8	82.0
Hu & Ramanan [21]	95.0	91.6	83.0	76.6	81.9	74.5	69.5	82.4
Pishchulin et al. [37]	94.1	90.2	83.4	77.3	82.6	75.7	68.6	82.4
Lifshitz et al. [29]	97.8	93.3	85.7	80.4	85.3	76.6	70.2	85.0
Gkioxari et al. [18]	96.2	93.1	86.7	82.1	85.2	81.4	74.1	86.1
Rafi et al. [39]	97.2	93.9	86.4	81.3	86.8	80.6	73.4	86.3
Insafutdinov et al. [23]	96.8	95.2	89.3	84.4	88.4	83.4	78.0	88.5
Wei et al. [50]	97.8	95.0	88.7	84.0	88.4	82.8	79.4	88.5
Chu et al. [13]	98.5	96.3	91.9	88.1	90.6	88.0	85.0	91.5
Chou et al. [10]	98.2	96.8	92.2	88.0	91.3	89.1	84.9	91.8
Chen et al. [7]	98.1	96.5	92.5	88.5	90.2	89.6	86.0	91.9
Yang et al. [52]	98.5	96.7	92.5	88.7	91.1	88.6	86.0	92.0
Newell et al. [35]	98.2	96.3	91.2	87.1	90.1	87.4	83.6	90.9
ResNet-ours	98.2	96.4	91.6	87.1	91.2	88.0	83.6	91.2
Hg-ours	98.6	97.0	92.8	88.8	91.7	89.8	86.6	92.5

• CPF は以前の段階の予測を情報として用いることで、後段の予測に有意な改善をもたらす。
• PGNN は関節間の直接的なメッセージ伝搬と構造化された空間関係の学習を可能にし、追加のゲインを提供する。
• CPF と PGNN の組み合わせは MPII の PCKh@0.5 および LSP で新たな状態を達成し、最小限のパラメータと FLOP オーバーヘッドで競争力のある結果を示す。
• 木構造型およびルーピーなPGNN構造は、グラフトポロジーに対する頑健性を示し、改善効果は類似。
• 伝搬ステップは小さな回数（T≈3）以降で効果が逓減し、最初の2ステップが精度向上に最も寄与。
• Backbone 実験では ResNet-50 と Hourglass の両方が CPF と PGNN の恩恵を受け、Hourglass は MPII で 92.5% PCKh に到達。