[論文レビュー] Multi-Scale Structure-Aware Network for Human Pose Estimation

Lipeng Ke, Ming‐Ching Chang+2 more|arXiv (Cornell University)|Mar 27, 2018

Human Pose and Action Recognition参考文献 22被引用数 23

ひとこと要約

本稿では、マルチスケール構造認識型ネットワークを提案する。この手法は、マルチスケールの監視、マルチスケール回帰、構造認識損失、キーポイントマスキング訓練を用いて、ディープ・アワークラスモデルを向上させる。本手法はMPIIベンチマークで最先端の性能を達成し、88.4%のPCK hスコアを記録し、マルチスケールの変動、遮蔽、複雑な多人数シーンに対処する上で効果的である。

ABSTRACT

We develop a robust multi-scale structure-aware neural network for human pose estimation. This method improves the recent deep conv-deconv hourglass models with four key improvements: (1) multi-scale supervision to strengthen contextual feature learning in matching body keypoints by combining feature heatmaps across scales, (2) multi-scale regression network at the end to globally optimize the structural matching of the multi-scale features, (3) structure-aware loss used in the intermediate supervision and at the regression to improve the matching of keypoints and respective neighbors to infer a higher-order matching configurations, and (4) a keypoint masking training scheme that can effectively fine-tune our network to robustly localize occluded keypoints via adjacent matches. Our method can effectively improve state-of-the-art pose estimation methods that suffer from difficulties in scale varieties, occlusions, and complex multi-person scenarios. This multi-scale supervision tightly integrates with the regression network to effectively (i) localize keypoints using the ensemble of multi-scale features, and (ii) infer global pose configuration by maximizing structural consistencies across multiple keypoints and scales. The keypoint masking training enhances these advantages to focus learning on hard occlusion samples. Our method achieves the leading position in the MPII challenge leaderboard among the state-of-the-art methods.

研究の動機と目的

• 畳み込みデコンボリューションピラミッドにおけるスケールの不安定性と単一スケールへの過学習を引き起こす入力スケールの変動を解消する。
• 構造的PRIORを組み込むことで、遮蔽や多人数の曖昧性がある複雑なシーンにおけるキーポイントの局所化とグローバルなポーズ構成を改善する。
• 文脈的および構造的ヒントを用いて遮蔽された部位を推論できるように、新しいキーポイントマスキング訓練方式を導入し、遮蔽キーポイントに対するロバスト性を向上させる。
• 従来の手法とは異なり、マルチスケール推論の後処理を必要とせず、一貫性があり高い精度のポーズ推定を実現する。
• マルチスケール監視と回帰を構造的一致性学習と統合し、スケール間および身体部位間の特徴マッチングを向上させる。

提案手法

• 畳み込みデコンボリューション層の各層に層別損失項を追加することで、デコンボリューションピラミッド全体にわたりスケール固有の特徴を明示的に監視するマルチスケール監視を実装する。
• 複数スケールからのキーポイントヒートマップを統合するマルチスケール回帰ネットワーク（MSR-net）を導入し、グローバルポーズ回帰と構造的一致性の最適化を実現する。
• 接続されたキーポイント（例：肩−肘−手首）間の相対的な空間的関係を促進する構造認識損失を設計する。これにより、人体のトポロジーをモデル化できる。
• トレーニング中にグラウンドトゥルースキーポイントをランダムにマスキングするキーポイントマスキング訓練方式を適用し、文脈的および構造的ヒントを用いて遮蔽部分を推論させるようにネットワークを強制する。
• 2段階パイプラインを用いてネットワーク全体をファインチューニングする：まずマルチスケール監視ネットワーク（MSS-net）を学習し、その後構造認識損失を用いたマルチスケール回帰ネットワーク（MSR-net）を学習する。
• 残差アワークラスアーキテクチャをバックボーンとして採用し、スタック間およびスタック内にスキップ接続を設けることで、マルチスケール特徴を保持する。

実験結果

リサーチクエスチョン

• RQ1 畳み込みデコンボリューション層にわたるマルチスケール監視は、特徴学習の向上とポーズ推定におけるスケール不安定性の低減に寄与するか？
• RQ2 複数スケールからの特徴を統合するマルチスケール回帰ネットワークは、より良いグローバルポーズ構成とキーポイント局所化を実現するか？
• RQ3 キーポイント間の解剖学的関係をモデル化する構造認識損失は、遮蔽や曖昧な状況でのマッチング精度を向上させるか？
• RQ4 トレーニング中にキーポイントをマスキングすることで、遮蔽やハードサンプルに対するロバスト性がどの程度向上するか？
• RQ5 これらのコンponentsの統合により、マルチスケール推論を必要とせず、MPIIなどのベンチマークデータセットで既存の最先端手法を上回ることができるか？

主な発見

• 提案手法はMPIIバリデーションセットで88.4%のPCK hスコアを達成し、ベースラインのアワークラスモデル（87.1%）および最先端手法を上回った。
• マルチスケール監視のみで性能が87.1%から87.6% PCK hに向上し、マルチスケール推論の必要性が低減され、シングルスケールテストが可能になった。
• マルチスケール回帰ネットワークは、マルチスケール監視ベースラインに対して0.4%の向上（88.1% PCK h）をもたらした。
• 構造認識損失はさらに0.3%の向上（88.3% PCK h）をもたらし、解剖学的関係のモデル化の有効性を示した。
• キーポイントマスキング訓練は0.1%の向上（88.4% PCK h）をもたらし、遮蔽キーポイントに対するロバストネスの向上を示した。
• 本手法はMPIIチャレンジのリーダーボードで首位を獲得し、スケール変動、遮蔽、複雑なシーンを含む実世界のシナリオにおいて優位性を確認した。