[論文レビュー] HEMlets Pose: Learning Part-Centric Heatmap Triplets for Accurate 3D Human Pose Estimation

Kun Zhou, Xiaoguang Han+3 more|arXiv (Cornell University)|Oct 26, 2019

Human Pose and Action Recognition参考文献 37被引用数 7

ひとこと要約

本論文は、キネマティックに接続された関節間の相対的奥行き順序を符号化することで、1枚の画像からの3次元人体ポーズ推定を向上させる、新しいパーツ中心のヒートマップトリプレット表現であるHEMlets Poseを提案する。2次元関節検出と併せてこれらの中間的ヒートマップを学習し、ソフト・アーグマックス回帰を用いることで、Human3.6Mで新しいSOTAのMPJPE 39.9mmを達成し、従来手法と比較して約20％の向上を示した。

ABSTRACT

Estimating 3D human pose from a single image is a challenging task. This work attempts to address the uncertainty of lifting the detected 2D joints to the 3D space by introducing an intermediate state - Part-Centric Heatmap Triplets (HEMlets), which shortens the gap between the 2D observation and the 3D interpretation. The HEMlets utilize three joint-heatmaps to represent the relative depth information of the end-joints for each skeletal body part. In our approach, a Convolutional Network (ConvNet) is first trained to predict HEMlests from the input image, followed by a volumetric joint-heatmap regression. We leverage on the integral operation to extract the joint locations from the volumetric heatmaps, guaranteeing end-to-end learning. Despite the simplicity of the network design, the quantitative comparisons show a significant performance improvement over the best-of-grade method (by 20% on Human3.6M). The proposed method naturally supports training with "in-the-wild" images, where only weakly-annotated relative depth information of skeletal joints is available. This further improves the generalization ability of our model, as validated by qualitative comparisons on outdoor images.

研究の動機と目的

• 2次元関節検出を3次元空間に昇華させる際の曖昧さと不確実性を解消するため、中間的で学習可能な表現を導入すること。
• スケルタルパーツの関節間における相対的奥行き関係を、密度的でピixel単位の方法で符号化することで、3次元ポーズ推定の精度を向上させること。
• 相対的奥行きアノテーションのみを備えたデータセットを用いて、弱教師付き学習で効果的な訓練を可能にすること。
• 3次元回帰タスクをより簡単なサブタスクに分解することで、単純でエンドツーエンドで訓練可能なアーキテクチャにより、最先端の性能を達成すること。

提案手法

• 本手法は、スケルタルパーツ内の2つの端末関節の相対的奥行き順序を表す3つのヒートマップ（前方、後方、同一奥行き）を用いるパーツ中心のヒートマップトリプレット（HEMlets）を導入する。
• 2本のブランチを持つ畳み込みニューラルネットワーク（ConvNet）が、入力RGB画像から2次元関節ヒートマップとHEMletsを同時に予測し、学習の改善を図るために中間監督を活用する。
• 予測されたHEMletsと2次元ヒートマップが、2番目のConvNetで高レベル特徴と統合され、各関節の3次元ボリュームヒートマップを回帰する。
• 最終的な3次元関節座標は、微分可能でないソフト・アーグマックス操作により抽出され、エンドツーエンド学習が可能になる。
• 相対的奥行きアノテーションのみを備えたデータセット（例：Ordinal, FBI）を用いることで、弱教師付き学習をサポートする。
• モデルは段階的に訓練される：まず2次元関節検出、次にHEMlets予測、最後に3次元ヒートマップ回帰。

実験結果

リサーチクエスチョン

• RQ1 相対的奥行き順序を符号化する中間的でパーツ中心の表現が、1枚の画像からの3次元人体ポーズ推定を改善できるか？
• RQ2 2次元関節ヒートマップと併せてHEMletsを学習することで、3次元ポーズ推定の精度と一般化性能にどのような影響を与えるか？
• RQ3 相対的奥行きアノテーションのみで訓練されたモデルが、「ウェルド」画像にどれほど一般化できるか？
• RQ4 提案されたHEMlets表現は、既存の3次元ヒートマップベースや検出ベースの手法と比較して、精度と頑健性の両面で優れているか？

主な発見

• 提案されたHEMlets手法は、Human3.6Mベンチマークで、従来の最良手法と比較して約20％の向上を示し、新しいSOTAのMPJPE 39.9mmを達成した。
• 本手法は強力な一般化性能を示し、LSP や MPI-INF-3DHP の挑戦的な「ウェルド」画像に対しても、自己遮蔽や極端なポーズ下でも視覚的に正確な3次元ポーズ推定を実現した。
• FBI や Ordinal といった追加の弱教師付きアノテーション付きデータセットを用いた学習により、3DPCKスコアが向上し、FBIアノテーションはオーディオノートに比べてより高い性能を示した。これは、FBIのアノテーションエラー率が低いためと推定される。
• 3つの奥行き状態を有するHEMletsバリアントは、5s-HEM や 2s-HEM より収束性と最終的な性能で優れており、最適な奥行き離散化が実現されていることが示された。
• フルモデルはGTX 1080 GPU上で1推論あたり13.3msで実行可能であり、精度が向上しているにもかかわらず、効率的な推論が可能であることが示された。