[論文レビュー] Simple and Lightweight Human Pose Estimation

Zhe Zhang, Jie Tang+1 more|arXiv (Cornell University)|Nov 23, 2019

Human Pose and Action Recognition参考文献 41被引用数 37

ひとこと要約

軽量な Lightweight Pose Network (LPN) を提案。ボトルネックブロックを再設計し、反復トレーニングと Beta-Soft-Argmax の後処理を用いて、モデルサイズが小さくCPU推論が高速であるにもかかわらず、COCO ポーズの結果において competitive な性能を達成する。

ABSTRACT

Recent research on human pose estimation has achieved significant improvement. However, most existing methods tend to pursue higher scores using complex architecture or computationally expensive models on benchmark datasets, ignoring the deployment costs in practice. In this paper, we investigate the problem of simple and lightweight human pose estimation. We first redesign a lightweight bottleneck block with two non-novel concepts: depthwise convolution and attention mechanism. And then, based on the lightweight block, we present a Lightweight Pose Network (LPN) following the architecture design principles of SimpleBaseline. The model size (#Params) of our small network LPN-50 is only 9% of SimpleBaseline(ResNet50), and the computational complexity (FLOPs) is only 11%. To give full play to the potential of our LPN and get more accurate predicted results, we also propose an iterative training strategy and a model-agnostic post-processing function Beta-Soft-Argmax. We empirically demonstrate the effectiveness and efficiency of our methods on the benchmark dataset: the COCO keypoint detection dataset. Besides, we show the speed superiority of our lightweight network at inference time on a non-GPU platform. Specifically, our LPN-50 can achieve 68.7 in AP score on the COCO test-dev set, with only 2.7M parameters and 1.0 GFLOPs, while the inference speed is 17 FPS on an Intel i7-8700K CPU machine.

研究の動機と目的

• リソース制約のある展開に適した、シンプルで軽量な HPE モデルの必要性を動機づける。
• パラメータ数と FLOPs を削減しつつ精度を維持する軽量ボトルネックブロックと全体アーキテクチャ（LPN）を導入する。
• heavy な事前学習や複雑なパイプラインを要さず、最大のパフォーマンスを引き出すトレーニングと後処理戦略を提案する。
• COCO データセットでの LPN の効率性と精度を、CPU 推論性能を含めて示す。

提案手法

• 深度-wise 畳み込みと Global Context (GC) アテンションブロックを用いた軽量ボトルネックブロックの再設計。
• SimpleBaseline風のバックボーンにおける標準ボトルネックを置換し、アップサンプリングを簡素化して Lightweight Pose Network (LPN) を構築する。
• 小さなネットワークをより適切に最適化するため、学習率をリセットしてトレーニングを再開する反復トレーニング戦略を導入する。
• ヒートマップから連続的でより正確なキーポイント座標を得るための、モデルに依存しない後処理ステップとして Beta-Soft-Argmax を提案する。
• COCO 評価: ベースラインアーキテクチャと比較してパラメータ数、FLOPs、AP 指標、CPU 推論速度を評価する。

実験結果

リサーチクエスチョン

• RQ1 軽量ボトルネックブロックと深度方向畳み込みおよび GC アテンションは、モデルサイズと計算量を大幅に削減しつつポーズ推定性能を維持できるのか？
• RQ2 反復トレーニング戦略は、大規模データセットでの従来の前訓練よりも小型ネットワークの性能改善に寄与するのか？
• RQ3 Beta-Soft-Argmax はトレーニング手順を変更せずに、異なるバックボーン間でキーポイントの局在精度を改善できるのか？
• RQ4 LPN は COCO における精度と CPU 推論速度の点で最先端手法と比較してどのようか？

主な発見

Method	Backbone	Input size	#Params	FLOPs	AP	AP50	AP75	APm	APL	AR
LPN (Ours)	ResNet-50	256×192	2.9 M	1.0 G	69.1	88.1	76.6	65.9	75.7	74.9
LPN (Ours)	ResNet-101	256×192	5.3 M	1.4 G	70.4	88.6	78.1	67.2	77.2	76.2
LPN (Ours)	ResNet-152	256×192	7.4 M	1.8 G	71.0	89.2	78.6	67.8	77.7	76.8
SimpleBaseline	ResNet-50	256×192	34.0 M	8.9 G	70.4	88.1	77.6	66.8	75.8	75.6
SimpleBaseline	ResNet-101	256×192	53.0 M	12.4 G	71.4	89.3	79.3	68.1	78.1	77.1

• LPN-50 は検証/テスト設定で 68.7–69.1 AP を達成し、パラメータ2.7–2.9M、FLOPs約1.0G、CPU で 17 FPS。
• SimpleBaseline-50 と比較して LPN-50 はパラメータの 9%、FLOPs の 11% を使用し、AP の差は約 1.3 程度で済む。
• GC ブロックを追加すると、小型ネットワークで顕著な改善が見られ（例：LPN-50 で最大 +2.5 AP ）、効果が高い。
• 反復トレーニング戦略は安定して AP を向上させ、LPN-50 では段階ごとに合計約 2.0 AP の改善を示す。
• Beta-Soft-Argmax はモデル非依存の改善を提供し（最大約 0.3 AP）、β が約 160 のときバックボーンが大きくなるほど効果が現れる。
• Beta-Soft-Argmax は複数のアーキテクチャで plain Argmax よりも上回り、バックボーンの複雑さが大きくなるほど利益が増大する。