[論文レビュー] Multi-scale Aggregation R-CNN for 2D Multi-person Pose Estimation

Gyeongsik Moon, Ju Yong Chang+1 more|arXiv (Cornell University)|Jan 1, 2019

Human Pose and Action Recognition被引用数 5

ひとこと要約

本稿では、2次元多人像ポーズ推定のための統一的単一モデル手法であるマルチスケールアグリゲーションR-CNN（MSA R-CNN）を提案する。MS-RoIAlignとMS-KpsNetを用いたマルチスケール特徴アグリゲーションにより、キーポイントの精度を向上させるとともに、計算コストを低減する。単一モデル手法として最先端の性能を達成し、分離型モデルと同等の効率性を実現する。

ABSTRACT

Multi-person pose estimation from a 2D image is challenging because it requires not only keypoint localization but also human detection. In state-of-the-art top-down methods, multi-scale information is a crucial factor for the accurate pose estimation because it contains both of local information around the keypoints and global information of the entire person. Although multi-scale information allows these methods to achieve the state-of-the-art performance, the top-down methods still require a huge amount of computation because they need to use an additional human detector to feed the cropped human image to their pose estimation model. To effectively utilize multi-scale information with the smaller computation, we propose a multi-scale aggregation R-CNN (MSA R-CNN). It consists of multi-scale RoIAlign block (MS-RoIAlign) and multi-scale keypoint head network (MS-KpsNet) which are designed to effectively utilize multi-scale information. Also, in contrast to previous top-down methods, the MSA R-CNN performs human detection and keypoint localization in a single model, which results in reduced computation. The proposed model achieved the best performance among single model-based methods and its results are comparable to those of separated model-based methods with a smaller amount of computation on the publicly available 2D multi-person keypoint localization dataset.

研究の動機と目的

• 分離型の人体検出器とポーズ推定器に依存するトップダウン型ポーズ推定手法の高い計算コストを低減すること。
• 統一フレームワーク内で局所的およびグローバルなマルチスケール特徴を効果的に活用することで、キーポイントの局所化精度を向上させること。
• 人体検出とキーポイント予測を1つのエンドツーエンドモデルに統合することで、推論時間とモデルの複雑さを低減すること。
• パrameter数と計算量を少なく抑えながら、分離型モデルと同等の性能を達成すること。

提案手法

• 領域の注目領域レベルで複数スケールの特徴をアグリゲートするマルチスケールRoIAlignブロック（MS-RoIAlign）を提案し、空間的詳細と文脈を保持する。
• 異なるスケールの特徴を処理するマルチスケールキーポイントヘッドネットワーク（MS-KpsNet）を導入し、キーポイント回帰の精度を向上させる。
• 1回の順伝播で人体インスタンスとそのキーポイント位置を同時に予測する統一された検出とキーポイントヘッドアーキテクチャを設計する。
• 特徴ピラミッドネットワークを用いてバックボーンネットワークからマルチスケール特徴を抽出し、それらをMS-RoIAlignでアグリゲートすることで表現力を向上させる。
• 検出とキーポイント予測の両方で共有バックボーンを採用することで、2段階パイプラインと比較して冗長性と計算量を削減する。
• トレーニング段階でマルチスケールの監督を適用し、異なる特徴スケールでキーポイントヘッドを監視することで、局所化のロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 統一的単一モデルアーキテクチャは、高い精度を維持しつつ、人体検出とキーポイント推定を効果的に統合できるか？
• RQ2 MS-RoIAlignによるマルチスケール特徴アグリゲーションは、単一スケールまたは標準RoIAlignと比較して、キーポイント局所化にどのように寄与するか？
• RQ3 提案手法は、分離型検出器とポーズ推定器の性能と同等またはそれを上回る性能を達成しながら、計算コストをどの程度低減できるか？
• RQ4 検出とキーポイントヘッドの両方でマルチスケール特徴を統合することで、多様な人体ポーズやスケールにわたってよりロバストな予測が可能になるか？

主な発見

• MSA R-CNNは、2次元多人像キーポイント局所化ベンチマークにおいて、単一モデル手法の中で最高の性能を達成した。
• その性能は、最先端の分離型モデル手法と同等であり、統一設計が精度を損なわないことを示している。
• 別個の人体検出器を不要にするため、計算コストを顕著に低減し、より高速な推論を可能にした。
• MS-RoIAlignとMS-KpsNetの活用により、特に小規模または隠蔽された人物のキーポイント局所化が向上し、マルチスケール特徴の有効活用が寄与した。
• 2段階のトップダウンアプローチと比較して、モデルの複雑さと推論時間を低減しながらも、高い精度を維持した。