[論文レビュー] Monocular, One-stage, Regression of Multiple 3D People

Yu Sun, Qian Bao+4 more|arXiv (Cornell University)|Aug 27, 2020

Human Pose and Action Recognition参考文献 44被引用数 8

ひとこと要約

ROMPは、1枚のRGB画像から複数の3次元人体メッシュをエンドツーエンド回帰する最初の1段階・モノクロナル手法を提案する。ピクセルレベルの表現としてボディセンター熱マップとメッシュパラメータマップを用い、重なり合う人物を解消するための衝突を考慮したレプulsionフィールドでガイドすることで、3DPW や CMU Panoptic などのベンチマークで最先端の性能とリアルタイム推論（30+ FPS）を達成した。

ABSTRACT

This paper focuses on the regression of multiple 3D people from a single RGB image. Existing approaches predominantly follow a multi-stage pipeline that first detects people in bounding boxes and then independently regresses their 3D body meshes. In contrast, we propose to Regress all meshes in a One-stage fashion for Multiple 3D People (termed ROMP). The approach is conceptually simple, bounding box-free, and able to learn a per-pixel representation in an end-to-end manner. Our method simultaneously predicts a Body Center heatmap and a Mesh Parameter map, which can jointly describe the 3D body mesh on the pixel level. Through a body-center-guided sampling process, the body mesh parameters of all people in the image are easily extracted from the Mesh Parameter map. Equipped with such a fine-grained representation, our one-stage framework is free of the complex multi-stage process and more robust to occlusion. Compared with state-of-the-art methods, ROMP achieves superior performance on the challenging multi-person benchmarks, including 3DPW and CMU Panoptic. Experiments on crowded/occluded datasets demonstrate the robustness under various types of occlusion. The released code is the first real-time implementation of monocular multi-person 3D mesh regression.

研究の動機と目的

• マルチペルソン3Dメッシュ回帰におけるマルチステージパイプラインの制限、特に遮蔽や切断状態下での性能を改善すること。
• ボクシングボックスに依存しないようにし、3Dボディメッシュのエンドツーエンド・ピクセル単位の予測を可能にすること。
• 人物同士の遮蔽や環境的遮蔽を含む混雑したシーンでも、包括的でピクセルレベルの表現により頑健な性能を発揮すること。
• 高い精度を維持しつつ、リアルタイムの推論速度を達成すること。

提案手法

• モデルは2つの明示的で微分可能な特徴マップを予測する：2次元のボディセンター位置を示すボディセンター熱マップと、各ピクセルごとのSMPLボディ形状およびポーズパラメータをエンコードするメッシュパラメータマップ。
• ボディセンター誘導型のサンプリングプロセスにより、熱マップで指定された位置からメッシュパラメータマップから3Dメッシュパラメータを抽出し、直接的なメッシュ再構築を可能にする。
• 衝突を考慮した表現（CAR）は、ボディセンター間のレプulsionフィールドを導入し、特に重なっている領域で近すぎるセンター同士を押しのける。
• レプulsionフィールドは物理にインspiredしたモデルを用い、ボディセンターを正の電荷として扱い、遮蔽状態でもセンターの識別性とサンプリングの正確性を向上させる。
• すべてのネットワークは、熱マップとメッシュパラメータの回帰を組み合わせたマルチタスク損失を用いてエンドツーエンドで訓練され、真値のボディセンターによってガイドされる。
• 従来のアプローチが用いる局所的でボクシングボックスレベルの特徴とは異なり、包括的な画像コンテキストを活用した特徴学習により、曖昧さを低減する。

実験結果

リサーチクエスチョン

• RQ1 1段階でエンドツーエンドに動作するフレームワークは、マルチステージパイプラインを上回る性能を発揮できるか？
• RQ2 ピクセルレベルの表現は、人物同士の遮蔽および環境的遮蔽に対してどのように頑健性を向上させるか？
• RQ3 衝突を考慮した表現は、混雑したシーンでボディセンターが重なった場合の曖昧さを効果的に解消できるか？
• RQ4 画像全体のコンテキストから学習することで、現実世界の遮蔽状態下でも一般化性能と性能が向上するか？
• RQ5 1段階の手法で、精度を損なわずリアルタイムの推論速度を達成できるか？

主な発見

• ROMPは3DPWおよびCMU Panopticベンチマークで最先端の性能を達成し、すべての活動において既存のマルチステージ手法を上回った。
• 3DPW-PC（人物遮蔽あり）およびCrowdPoseベンチマークでは、先行手法と比較してPMPJPEをそれぞれ4.8%および10.3%低減した。
• 衝突を考慮した表現（CAR）は混雑したシーンでの性能を顕著に向上させ、γ=0.2のときCrowdPoseで10.3%の向上を達成した。
• ROMPは1070Ti GPU上で30 FPS以上で動作し、モノクロナルマルチペルソン3Dメッシュ回帰の最初のリアルタイム実装となった。
• シーン内の人物数に関わらず、推論時間は一定であるのに対し、マルチステージ手法は人物数に比例して遅延が増加する。
• アブレーションスタディにより、主な性能向上は遮蔽および切断状態下での不確実性の低減に起因することが確認され、ピクセルレベルで包括的な表現の有効性が裏付けられた。