[論文レビュー] Human Pose Regression by Combining Indirect Part Detection and Contextual Information

Diogo Luvizon, Hedi Tabia+1 more|arXiv (Cornell University)|Oct 6, 2017

Human Pose and Action Recognition参考文献 46被引用数 235

ひとこと要約

微分可能な Soft-argmax を用いてヒートマップを関節座標へ変換するエンドツーエンド学習可能な姿勢回帰手法で、文脈情報を付加し、回帰法と競合する結果を達成し、検出ベースのアプローチに近い。

ABSTRACT

In this paper, we propose an end-to-end trainable regression approach for human pose estimation from still images. We use the proposed Soft-argmax function to convert feature maps directly to joint coordinates, resulting in a fully differentiable framework. Our method is able to learn heat maps representations indirectly, without additional steps of artificial ground truth generation. Consequently, contextual information can be included to the pose predictions in a seamless way. We evaluated our method on two very challenging datasets, the Leeds Sports Poses (LSP) and the MPII Human Pose datasets, reaching the best performance among all the existing regression methods and comparable results to the state-of-the-art detection based approaches.

研究の動機と目的

• 2D 人間の姿勢推定において回帰と検出のギャップを埋める動機づけ。
• ヒートマップから直接 2D ジョイント座標を回帰する微分可能な Soft-argmax レイヤを提案。
• 部位ベースのヒートマップと文脈ヒートマップを組み込んで姿勢予測を改善。
• 訓練時に人工的に生成したヒートマップなしでエンドツーエンドの学習を可能にする。
• 標準ベンチマークで検出ベースの手法に対して競争力のある精度を示す。

提案手法

• Stem、Block-A、Block-B からなる CNN アーキテクチャを導入し、部位ベースのヒートマップと文脈ヒートマップを出力。
• ヒートマップを関節座標へ変換するために完全に微分可能な方法として Soft-argmax を使用。
• 各ヒートマップのグローバル最大プーリングに対するシグモイドを通じて関節確率を予測。
• 部位ベースの予測と文脈由来の予測を、ジョイント・コンテキスト確率によって制御される加重スキームで集約。
• 関節座標にはエラスティックネット損失、関節の存在確率には二項交差エントロピーで訓練。
• データ拡張を用い、MPII で訓練し LSP でファインチューニング、途中監視のため複数の予測ブロックを使用。

実験結果

リサーチクエスチョン

• RQ1 RGB 画像から 2D ジョイント座標へのエンドツーエンド訓練を可能にする微分可能な Soft-argmax は、人工的なヒートマップのグラウンドトゥルースなしで可能か。
• RQ2 部位ベースのマップに加えて文脈ヒートマップを組み込むことで回帰ベースの姿勢推定性能は向上するか。
• RQ3 MPII や LSP のような難しいベンチマークにおいて、回帰ベースのアプローチは最先端の検出ベース手法にどこまで近づくか。
• RQ4 中間サーベイと複数ブロック予測が訓練の安定性と精度に及ぼす影響は。
• RQ5 ジョイント確率をジョイント視認性の学習指標として用いることは姿勢推定の改善にどれほど効果的か。

主な発見

• MPII で最先端の検出法に近い回帰ベースの姿勢精度を達成し、他の回帰法を上回る。
• Soft-argmax はサブピクセル精度と微分可能性を提供し、エンドツーエンド学習を可能にする。
• 文脈マップと関節確率は、特に文脈的集約を介して姿勢の精度を向上させる。
• OC 注釈下の PCP および PCK 指標で LSP におけるいくつかの回帰ベース手法を上回る。
• MPII ではテストスコア 91.2%（Single Person チャレンジ）を達成し、最良の検出ベース手法よりわずか 0.7% 下。
• より小さなネットワークで、重いアーキテクチャと同等の性能を発揮。