[論文レビュー] RePose: Learning Deep Kinematic Priors for Fast Human Pose Estimation

Hossam Isack, Christian Haene+5 more|arXiv (Cornell University)|Feb 10, 2020

Human Pose and Action Recognition参考文献 24被引用数 9

ひとこと要約

RePoseは、低解像度での階層的・粗いから細かい特徴更新機構を通じて学習された運動学的事前知識を埋め込むことで、単一画像における人体ポーズ推定のための軽量で効率的なディーブラーニングモデルを提案する。この手法は、蒸留や圧縮技術を用いずに、パrameter数4.0M、FLOPs 13.5 GFLOPsでLSPでは最先端の精度を達成し、MPIIでも競争力のある結果を示した。

ABSTRACT

We propose a novel efficient and lightweight model for human pose estimation from a single image. Our model is designed to achieve competitive results at a fraction of the number of parameters and computational cost of various state-of-the-art methods. To this end, we explicitly incorporate part-based structural and geometric priors in a hierarchical prediction framework. At the coarsest resolution, and in a manner similar to classical part-based approaches, we leverage the kinematic structure of the human body to propagate convolutional feature updates between the keypoints or body parts. Unlike classical approaches, we adopt end-to-end training to learn this geometric prior through feature updates from data. We then propagate the feature representation at the coarsest resolution up the hierarchy to refine the predicted pose in a coarse-to-fine fashion. The final network effectively models the geometric prior and intuition within a lightweight deep neural network, yielding state-of-the-art results for a model of this size on two standard datasets, Leeds Sports Pose and MPII Human Pose.

研究の動機と目的

• パrameter数と計算コストを大幅に削減しても高い精度を維持できる軽量な人体ポーズ推定モデルの開発。
• 人体の構造的・幾何的事前知識を、微分可能でエンドツーエンドで学習可能な形で深層ニューラルネットワークに統合すること。
• MAP推定や信念伝播のような高コストな推論手順を避けるために、運動学的構造をネットワークアーキテクチャそのものに直接組み込むこと。
• マルチスケール特徴更新機構を通じて、効率的な階層的精度向上を実現すること。
• LSPやMPIIといった標準ベンチマークで、先行のSOTA手法よりも顕著に小さいモデルサイズで最先端の性能を達成すること。

提案手法

• モデルは、粗いから細かい階層的精錬戦略を採用し、低解像度特徴マップ（16×16）で運動学的特徴更新を適用することで、空間的に一貫性のある予測を伝搬する。
• 運動学的特徴更新モジュールは、所定の解剖学的順序（例：股関節から外側へ）に従い、学習可能な重みを用いて旧来の特徴と新しい特徉を結合することでキーポイント特徴を更新する。
• 更新機構は、ループ付き信念伝播のような近似推論アルゴリズムを必要としない、軽量で微分可能なモジュールとして実装されており、幾何的整合性を保持する。
• ネットワークはエンドツーエンドで訓練され、データから複雑な非ガウス分布の関節位置と相対的配置に関する事前知識を学習可能である。
• 特徴表現は特徴ピラミッドに沿って上流に伝搬され、高解像度での予測を精錬し、最終的に最も細かいスケールでのヒートマップ予測に至る。
• 更新機構を粗い解像度に制限することでパrameter数とFLOPsを最小限に抑えつつ、高い精度を維持するアーキテクチャが設計されている。

実験結果

リサーチクエスチョン

• RQ1 明示的なグラフィカルモデルや高コストな推論手順に依存せずに、深層ニューラルネットワークが人体ポーズ推定のための複雑な幾何的・構造的事前知識を学習可能か？
• RQ2 人体の運動学的構造を、軽量で微分可能なモジュールに組み込むことで、精度を向上させつつモデルサイズと推論コストを低減できるか？
• RQ3 特徴更新の順序（例：中心から肢へ対比して頭から足へ）がポーズ推定性能に与える影響は何か？
• RQ4 蒸留や圧縮技術を用いずに、400万パラメータのモデルがLSPで最先端の性能を達成し、MPIIで競争力のある結果を得られるか？
• RQ5 軽量なポーズ推定フレームワークにおいて、入力解像度、ヒートマップのシグマ、計算コストの最適なトレードオフは何か？

主な発見

• RePoseは、パrameter数400万、FLOPs 13.5 GFLOPsでLSPデータセットで91.66%、MPIIで90.29%の精度を達成し、このサイズのモデルとしては新たなSOTAを樹立した。
• 特徴更新モジュールにトレーニング可能な混合重みを導入することで、単純な加算手法に比べ0.53%、置換手法に比べ1.37%の性能向上が得られ、パラメータ増加は最小限に抑えられた。
• 運動学的更新順序（股関節から外側）は、トップダウン順序に比べLSPで0.42%、MPIIで0.70%の精度向上を示し、解剖学的順序の重要性を裏付けた。
• 入力解像度を128×128から256×256に引き上げると、MPIIの精度は0.55%向上したが、FLOPsは3.7倍に増加し、計算コストと精度の強いトレードオフが確認された。
• 複数のRePoseステージをスタックすることで、LSPでは92.99%、MPIIでは91.45%の精度に向上したが、パラメータ数とFLOPsがそれぞれ2倍に増加した。
• 更新後の特徴を連結して同時にヒートマップを予測すると、LSPで0.45%、MPIIで0.35%の性能低下が生じ、更新ごとに独立して予測を行う方が効果的であることが示された。