[論文レビュー] Exploiting Offset-guided Network for Pose Estimation and Tracking

Rui Zhang, Zheng Zhu+5 more|arXiv (Cornell University)|Jan 1, 2019

Human Pose and Action Recognition被引用数 3

ひとこと要約

本稿では、ヒートマップオフセットを活用して量子化誤差を低減することで、人体ポーズ推定とトラッキングを向上させる、新たな統合戦略であるオフセットガイドドネットワーク（OGN）を提案する。2段階ポーズ推定およびMask R-CNNにオフセットガイドを統合し、グリーディボックス生成戦略とレート一貫性学習を採用することで、COCOおよびPoseTrackデータセットで最先端の性能を達成する。

ABSTRACT

Human pose estimation has witnessed a significant advance thanks to the development of deep learning. Recent human pose estimation approaches tend to directly predict the location heatmaps, which causes quantization errors and inevitably deteriorates the performance within the reduced network output. Aim at solving it, we revisit the heatmap-offset aggregation method and propose the Offset-guided Network (OGN) with an intuitive but effective fusion strategy for both two-stages pose estimation and Mask R-CNN. For two-stages pose estimation, a greedy box generation strategy is also proposed to keep more necessary candidates while performing person detection. For mask R-CNN, ratio-consistent is adopted to improve the generalization ability of the network. State-of-the-art results on COCO and PoseTrack dataset verify the effectiveness of our offset-guided pose estimation and tracking.

研究の動機と目的

• 離散的な出力解像度に起因するヒートマップベースの人体ポーズ推定における量子化誤差を解消すること。
• オフセットガイドド特徴統合を用いて、2段階ポーズ推定およびMask R-CNNの精度と頑健性を向上させること。
• 必須の候補ボックスを保持するグリーディ戦略を導入することで、2段階ポーズ推定における候補ボックス生成を改善すること。
• 異なる入力スケールにおいて一貫性のある比率を維持する学習を適用することで、Mask R-CNNの一般化能力を向上させること。
• COCOおよびPoseTrackを含む標準ベンチマークで最先端の性能を達成すること。

提案手法

• ヒートマップから予測されたオフセットを活用してキーポイントの局所化を精緻化するオフセットガイドド統合メカニズムを提案し、量子化誤差を低減する。
• 2段階ポーズ推定におけるグリーディボックス生成戦略を導入し、冗長な候補を最小限に抑えながらも、より関連性の高い人物候補を保持する。
• Mask R-CNNにおける比率一貫性学習を適用し、異なるスケールの入力においても安定した学習と一般化能力の向上を実現する。
• オフセットガイドドネットワークを2段階ポーズ推定およびMask R-CNNの両フレームワークに適応させ、一貫した性能向上を実現する。
• ヒートマップの信頼度と空間的オフセット予測を統合することで、キーポイント座標を精緻化する。
• エンドツーエンドの学習を採用し、オフセットガイドを用いて検出、セグメンテーション、キーポイント予測を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 オフセットガイドド統合は、ヒートマップベースのキーポイント回帰における量子化誤差を低減し、ポーズ推定精度を向上させることができるか？
• RQ2 グリーディボックス生成戦略は、2段階ポーズ推定における人物候補の質と多様性にどのように影響を与えるか？
• RQ3 比率一貫性学習は、キーポイント検出タスクにおけるMask R-CNNの一般化能力をどの程度向上させるか？
• RQ4 提案されたオフセットガイドドネットワークは、2段階ポーズ推定およびインスタンスセグメンテーションフレームワークの両方へ効果的に拡張可能か？
• RQ5 オフセットガイドの統合により、COCOおよびPoseTrackベンチマークで最先端の性能が達成されるか？

主な発見

• 提案されたオフセットガイドドネットワークは、COCOキーポイント検出ベンチマークで最先端の性能を達成し、先行手法を上回る。
• オフセットガイドド統合の導入により、量子化誤差が顕著に低減され、より正確なキーポイント局所化が実現した。
• グリーディボックス生成戦略により、計算コストを増加させることなく、より関連性の高い人物候補を保持でき、検出品質が向上した。
• 比率一貫性学習により、特にマルチスケールキーポイント検出において、Mask R-CNNの一般化能力が向上した。
• PoseTrackデータセットにおいても強力な結果を達成し、動画ベースのポーズトラッキングにおいて有効性を示した。