[論文レビュー] PersonLab: Person Pose Estimation and Instance Segmentation with a Bottom-Up, Part-Based, Geometric Embedding Model

George Papandreou, Tyler Zhu+4 more|arXiv (Cornell University)|Mar 22, 2018

Human Pose and Action Recognition被引用数 6

ひとこと要約

PersonLabは、部分ベースの幾何的埋め込みを用いた、完全畳み込み型でボトムアップなアプローチを提案し、同時に人物のポーズ推定とインスタンスセグメンテーションを実現する。キーポイントの位置と相対的な変位を予測し、グリーディデコードによりそれらをグループ化し、幾何的埋め込みベクトルを用いてピクセルを人物インスタンスに割り当てる。シングルスケール推論で、COCOキーポイント検出ではSOTAのAP 0.687、人物インスタンスセグメンテーションでは0.417を達成した。

ABSTRACT

We present a box-free bottom-up approach for the tasks of pose estimation and instance segmentation of people in multi-person images using an efficient single-shot model. The proposed PersonLab model tackles both semantic-level reasoning and object-part associations using part-based modeling. Our model employs a convolutional network which learns to detect individual keypoints and predict their relative displacements, allowing us to group keypoints into person pose instances. Further, we propose a part-induced geometric embedding descriptor which allows us to associate semantic person pixels with their corresponding person instance, delivering instance-level person segmentations. Our system is based on a fully-convolutional architecture and allows for efficient inference, with runtime essentially independent of the number of people present in the scene. Trained on COCO data alone, our system achieves COCO test-dev keypoint average precision of 0.665 using single-scale inference and 0.687 using multi-scale inference, significantly outperforming all previous bottom-up pose estimation systems. We are also the first bottom-up method to report competitive results for the person class in the COCO instance segmentation task, achieving a person category average precision of 0.417.

研究の動機と目的

• 制約のないシーンにおける複数人ポーズ推定とインスタンスセグメンテーションのための統合的でボックスフリーなフレームワークの開発。
• 相対的変位予測による再帰的精製を用いて長距離キーポイント関係をモデル化することで、ボトムアップ型ポーズ推定の精度を向上。
• シーン内の人物数に依存しない実行時間を持つ、効率的でスケーラブルな推論の実現。
• 部分ベースの幾何的埋め込み表現を用いて、高精度で効率的なインスタンスレベルのセグメンテーションを実現。
• 軽量で完全畳み込み型のアーキテクチャにより、モバイルデバイスへのリアルタイムデプロイを可能に。

提案手法

• キーポイントのヒートマップとキーポイントペア間の相対的変位ベクトルを予測するための完全畳み込みネットワークを採用。
• 長距離の変位予測を改善するため、再帰的精製モジュールを導入し、キーポイントグループ化の精度を向上。
• 最も信頼性の高い検出から開始し、グリーディデコードを適用してキーポイントを人物インスタンスにグループ化。
• 各人物ピクセルに対して、関連するインスタンスの全K個のキーポイントへのオフセットを符号化した密度的な幾何的埋め込みベクトルを予測。
• 幾何的埋め込みフィールドを用いて、平均キーポイント距離と検出信頼度に基づき、各ピクセルを最も近い人物インスタンスに割り当てる。
• COCOキーポイントおよびセグメンテーションアノテーション上でエンドツーエンドに学習し、インスタンスに依存しないセマンティックセグメンテーションマップを活用。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト検出器に依存せずに、ボトムアップ型で部分ベースのアプローチが、複数人ポーズ推定でSOTA性能を達成できるか？
• RQ2 再帰的精製を用いた相対的変位予測は、長距離キーポイントグループ化の精度向上にどの程度効果的か？
• RQ3 幾何的埋め込み表現は、ボトムアップフレームワークにおいて正確で効率的なインスタンスレベルのセグメンテーションを可能にするか？
• RQ4 小さな人物インスタンスに対してキーポイントを補完することで、キーポイントAPに評価影響がないにもかかわらず、セグメンテーション性能が向上するか？
• RQ5 完全畳み込み型でワンショットのモデルは、人物数に依存しない推論時間で高い精度を達成できるか？

主な発見

• PersonLabは、マルチスケール推論を用いてCOCOテストデブでキーポイント平均適合率（AP）0.687を達成し、従来のボトムアップ手法を顕著に上回った。
• モデルはCOCO人物カテゴリにおけるボトムアップインスタンスセグメンテーションで新SOTAを樹立し、AP 0.417を達成。これは強力なトップダウンベースラインであるFCISの0.386を上回った。
• オフセット精製により、キーポイントAPは3.3%、セグメンテーションAPは2.2%向上。特に大きなインスタンスでは、それぞれ5.4%および9.1%の向上を示した。
• 小さな人物インスタンスのキーポイントを補完することで、セグメンテーションAPは4.4%向上。小サイズオブジェクトのAPは134%の相対的増加（7.6%から16.4%に）を記録した。
• シングルスケール推論でも高い性能を発揮し、人物数に依存しない高速な推論速度を維持した。
• システムは単純で効率的であり、2段階目の精製やクラスタリングを回避しているため、モバイルデプロイに適している。