[論文レビュー] OmniPose: A Multi-Scale Framework for Multi-Person Pose Estimation

Bruno Artacho, Andreas Savakis|arXiv (Cornell University)|Mar 18, 2021

Human Pose and Action Recognition参考文献 40被引用数 31

ひとこと要約

OmniPose は、改善された HRNet バックボーンと新しい Waterfall Atrous Spatial Pyramid (WASPv2) モジュールと Gaussian heatmap modulation を組み合わせ、軽量な OmniPose-Lite バリアントを備え、単一パスのエンドツーエンドフレームワークで最先端のマルチ人 2D 推定を実現します。

ABSTRACT

We propose OmniPose, a single-pass, end-to-end trainable framework, that achieves state-of-the-art results for multi-person pose estimation. Using a novel waterfall module, the OmniPose architecture leverages multi-scale feature representations that increase the effectiveness of backbone feature extractors, without the need for post-processing. OmniPose incorporates contextual information across scales and joint localization with Gaussian heatmap modulation at the multi-scale feature extractor to estimate human pose with state-of-the-art accuracy. The multi-scale representations, obtained by the improved waterfall module in OmniPose, leverage the efficiency of progressive filtering in the cascade architecture, while maintaining multi-scale fields-of-view comparable to spatial pyramid configurations. Our results on multiple datasets demonstrate that OmniPose, with an improved HRNet backbone and waterfall module, is a robust and efficient architecture for multi-person pose estimation that achieves state-of-the-art results.

研究の動機と目的

• 単一パスのエンドツーエンド学習可能なネットワークによるマルチ人の2Dポーズ推定の進歩。
• ポスト処理なしで関節局在を改善するために、多スケール特徴表現を活用する。
• WASPv2 モジュールと Gaussian heatmap modulation を通じて効率と精度を向上させる。
• モバイル/組込みプラットフォームに適した軽量バリアント（OmniPose-Lite）を提供する。

提案手法

• 改良された HRNet バックボーンを使用して高解像度のマルチスケール特徴を抽出する。
• WASPv2 を導入: 分解能を保ちながら受容野を拡張するアトゥース畳み込み（拡張率 [1,6,12,18]）を備えた高度な waterfall モジュール; 特徴抽出とデコーディングを単一ユニットで統合。
• 補間/デコンボリューション時に Gaussian heatmap modulation を適用してサブピクセルのジョイント局在を可能にし、量子化誤差を低減する。
• 標準畳み込みを分離可能畳み込みに置換して、精度を犠牲にせずパラメータ数と GFLOPs を削減する。
• 別個のデコーダーや後処理なしに WASPv2 から最終ヒートマップを直接出力する。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールかつ単一パスのアーキテクチャは、ポスト処理なしでマルチ人のポーズ推定において最先端の精度を達成できるか？
• RQ2 高解像度のマルチスケールエンコーダ-デコーダに Gaussian heatmap modulation を組み込むことが、関節局在の精度に与える影響は？
• RQ3 WASPv2 モジュールは、従来の WASP/HRNet のベースラインと比較して精度と効率にどのような影響を与えるか？
• RQ4 競争力のある精度を維持しつつ、モバイル/組込みプラットフォーム向けの軽量な OmniPose-Lite は実現可能か？

主な発見

手法	入力サイズ	パラメータ数（M）	GFLOPs	AP	AP50	AP75	APM	APL	AR
OmniPose (WASPv2)	384x288	68.1	37.9	79.5%	93.6%	85.9%	76.0%	84.6%	81.9%
OmniPose (WASP)	384x288	68.2	38.6	79.2%	93.6%	85.7%	75.9%	84.2%	81.6%
DarkPose	384x288	63.6	32.9	76.8%	90.6%	83.2%	72.8%	84.0%	81.7%
HRNet	384x288	63.6	32.9	76.3%	90.8%	82.9%	72.3%	83.4%	81.2%
OmniPose-Lite	256x192	19.4	5.8	71.4%	-	-	-	-	-

• WASPv2 を用いた OmniPose は、MPII および COCO で post-processing やアンカー Pose なしで最先端の結果を達成（例：MPII PCKh@0.2 が最大 92.3%）。
• COCO バリデーションで、OmniPose（WASv2）は AP 37.9 および AP50 79.5% に達し、いくつかの従来手法を上回る；COCO test-dev では OmniPose が AP 76.4% を達成。
• OmniPose-Lite は GFLOPs を 74.3% 減少させ（22.6 から 5.8）、パラメータを 71.4% 減少（67.9M から 19.4M）させつつ精度を保ち、モバイル展開に適する。
• Gaussian heatmap modulation は、デコード時の補間に起因する量子化誤差に対処することで局在精度を向上させる。
• 統合された WASPv2 デコーダは高解像度のまま直接ジョイントヒートマップを出力し、追加デコード手順の必要性を低減する。