[論文レビュー] DensePose: Dense Human Pose Estimation In The Wild

Rıza Alp Güler, Natalia Neverova+1 more|arXiv (Cornell University)|Feb 1, 2018

Human Pose and Action Recognition被引用数 6

ひとこと要約

本論文では、制約のない現実世界の状況において、RGB画像とパラメトリックな人体モデルとの間で、部分に特化した密集的2次元-3次元対応関係を確立する深層学習フレームワーク、DensePose-RCNNを提案する。50,000枚の画像を含むDensePose-COCOデータセットを新規に作成するためのアノテーションパイプラインを活用し、領域ベースの特徴抽出、欠損した教師信号の補間、段階的な精錬を組み合わせることで、最先端の精度に近い性能を達成するとともに、リアルタイム性能（20–26 FPS）を実現した。

ABSTRACT

In this work, we establish dense correspondences between RGB image and a surface-based representation of the human body, a task we refer to as dense human pose estimation. We first gather dense correspondences for 50K persons appearing in the COCO dataset by introducing an efficient annotation pipeline. We then use our dataset to train CNN-based systems that deliver dense correspondence 'in the wild', namely in the presence of background, occlusions and scale variations. We improve our training set's effectiveness by training an 'inpainting' network that can fill in missing groundtruth values and report clear improvements with respect to the best results that would be achievable in the past. We experiment with fully-convolutional networks and region-based models and observe a superiority of the latter; we further improve accuracy through cascading, obtaining a system that delivers highly0accurate results in real time. Supplementary materials and videos are provided on the project page http://densepose.org

研究の動機と目的

• 制約のない現実世界のシーンにおいて、2次元RGB画像と人体の3次元表面表現との間で、密集的かつ部分に特化した対応関係を確立すること。
• オクルージョン、スケールの変動、背景のごみなどの要因に起因する、密集的人体ポーズ推定の課題を克服すること。
• 画像-表面対応関係の大規模データセットを構築するためのスケーラブルで効率的なアノテーションパイプラインを開発すること。
• 複雑な現実世界の画像に強く一般化できる深層学習モデルを訓練し、高い精度とリアルタイムの推論速度を両立すること。

提案手法

• アノテーターが人体を意味的パーツに分割し、レンダリングされたパーツ画像を用いて3次元表面のサンプル点を対応する画像ピクセルにマッピングすることで、密集的2次元-3次元対応ラベルを可能にする。
• 完全畳み込みネットワークの代わりに、スケールやポーズの変動に対してより頑健であるよう、領域ベースのFaster R-CNNスタイルのバックボーン（DensePose-RCNN）を採用する。
• 欠損した真値UV座標を予測する補間ネットワークを訓練し、教師信号の有効性を高め、一般化性能を向上させる。
• 段階的な精錬モジュールにより、前の段階からの特徴を用いて予測されたUV座標を繰り返し精錬することで、精度を顕著に向上させる。
• インスタンスセグメンテーションおよびキーポイント検出ヘッドと同時に学習することで、マルチタスク学習を採用し、補助的教師信号を提供することで、密集的対応関係予測の性能を向上させる。
• 最終的なモデルはDensePose-COCOデータセット上で訓練され、標準的なGPUハードウェアでもリアルタイムの推論速度を達成した。

実験結果

リサーチクエスチョン

• RQ1 制約のない現実世界の画像において、オクルージョンやスケールの変動がある中で、深層学習モデルが人体の正確な密集的2次元-3次元対応関係を達成できるか？
• RQ2 野生の状況における密集的人体ポーズ推定において、完全畳み込みネットワークと比較して、領域ベースの特徴抽出はどの程度有効か？
• RQ3 欠損した教師信号の補間は、スパarsなアノテーション条件下でモデルの一般化性能と性能をどの程度向上させ得るか？
• RQ4 段階的精錬とマルチタスク学習は、推論速度を犠牲にせずに精度を顕著に向上させ得るか？
• RQ5 完全に教師ありでエンドツーエンドに訓練された深層学習システムは、密集的人体対応関係推定の性能上限にどの程度近づけるか？

主な発見

• マルチタスク学習と段階的精錬を組み合わせたDensePose-RCNNは、COCO minivalセットで55.8% APを達成し、先行手法を大きく上回った。
• キーポイントの教師信号を用いた段階的モデルは、55.8% APを達成し、理想化された評価条件下で得られる上限性能57.1% APに極めて近づいた。
• 領域ベースの処理（RCNN）は、スケールやポーズの変動にさらされても、完全畳み込みネットワークを大きく上回る性能を示した。
• 教師信号の補間により顕著な性能向上が得られ、データが限られる状況下での強化された教師信号の価値を示した。
• GTX 1080 GPU上で240×320画像では20–26 FPS、800×1100画像では4–5 FPSで実行可能であり、リアルタイム推論を実現した。
• キーポイントおよびマスクヘッドを併用したマルチタスク学習は、単一タスクベースラインに比べて3.0% AP向上を達成し、強力な補助的教師信号の利点を示した。