[論文レビュー] Graph-Based 3D Multi-Person Pose Estimation Using Multi-View Images

Size Wu, Sheng Jin+5 more|arXiv (Cornell University)|Sep 13, 2021

Human Pose and Action Recognition被引用数 6

ひとこと要約

本稿では、マルチビュー画像からの3D多人像ポーズ推定のための新規なグラフベースで粗くから細かくまでのフレームワークを提案する。タスク固有のグラフニューラルネットワークを用いることで、精度と効率性を向上させる。3つのモジュール—MMG（学習可能なマルチビュー照合用）、CRG（連続的3Dセンター精緻化用）、PRG（構造的・幾何的注意をもつポーズ精緻化用）—を導入し、計算量とメモリ使用量を著しく削減しながら最先端の性能を達成した。

ABSTRACT

This paper studies the task of estimating the 3D human poses of multiple persons from multiple calibrated camera views. Following the top-down paradigm, we decompose the task into two stages, i.e. person localization and pose estimation. Both stages are processed in coarse-to-fine manners. And we propose three task-specific graph neural networks for effective message passing. For 3D person localization, we first use Multi-view Matching Graph Module (MMG) to learn the cross-view association and recover coarse human proposals. The Center Refinement Graph Module (CRG) further refines the results via flexible point-based prediction. For 3D pose estimation, the Pose Regression Graph Module (PRG) learns both the multi-view geometry and structural relations between human joints. Our approach achieves state-of-the-art performance on CMU Panoptic and Shelf datasets with significantly lower computation complexity.

研究の動機と目的

• マルチビュー3D多人像ポーズ推定における、従来の2Dから3Dへの変換手法および直接3D推定手法の限界を解消すること。
• 視覚的特徴と幾何的制約を学習可能で幾何的注意をもつ特徴統合によって、遮蔽や不正確な2D検出に対しても耐性を高めること。
• ボクセルベースのボリュメトリック手法と比較して、計算コストとメモリ使用量を削減しながら、精度を維持または向上させること。
• グラフニューラルネットワークを用いて、粗くから細かくまでの人体センター検出と3Dポーズ精緻化を統合したエンドツーエンドのフレームワークを構築すること。

提案手法

• 粗い3D人体センター検出のための、視覚的および幾何的特徴を統合する学習可能なグラフネットワークであるマルチビュー照合グラフモジュール（MMG）を導入。
• 連続的3D空間で動作するポイントベースのグラフネットワークであるセンター精緻化グラフモジュール（CRG）を提案。インパルシットフィールド表現と適応的サンプリングを用いて、人体センター位置を精緻化する。
• 人体の構造的事前知識とマルチビュー幾何的制約を同時にモデル化するグラフベースのモデルであるポーズ回帰グラフモジュール（PRG）を設計。3D関節位置を精緻化する。
• 2段階の粗くから細かくまでのパイプラインを採用：まずMMGで人体候補を検出・精緻化し、次にCRGでそれらを精緻化した後、ベースライン3D回帰器からの初期推定値を用いてPRGで3Dポーズを回帰する。
• マルチビュー特徴を効果的に集約するためにグラフニューラルネットワークを用い、従来の平均化や固定グリッド手法よりも優れた特徴統合を実現。
• CRGでインパルシットフィールド表現を活用することで、量子化誤差を回避し、柔軟なサンプリングを可能にし、精度と推論速度のバランスを図る。

Figure 1: Overview of mainstream multi-view 3D pose estimation frameworks. (a) 2D-to-3D lifting-based approaches (b) Direct 3D pose estimation approaches. (c) Our approach applies graph-based matching algorithm to detect human centers, and applies a graph-based pose refinement model to effectively u

実験結果

リサーチクエスチョン

• RQ1 学習可能なグラフベースのマルチビュー照合は、手作業で設計された幾何的・外観的制約と比較して、3D人体センター検出の精度を向上させることができるか？
• RQ2 グラフネットワークによる連続的・ポイントベースの3D精緻化は、離散的ボクセルベースの局所化と比較して、精度と効率性の両面で優れているか？
• RQ3 人体構造とマルチビュー幾何を同時にモデル化するグラフベースのポーズ精緻化モジュールは、3Dポーズ推定精度を顕著に向上させることができるか？
• RQ4 提案フレームワークは、従来のボリュメトリック手法および2Dから3Dへの変換手法と比較して、計算コストとメモリ使用量をどの程度削減できるか？

主な発見

• 提案手法はCMU PanopticおよびShelfデータセットで最先端の性能を達成し、平均平均精度（mAP）82.10%、平均関節位置誤差（MPJPE）15.84mmを達成した。
• MMGモジュールはデータから学習可能な特徴統合により、従来の手作業で設計された照合基準を上回るマルチビュー人物照合性能を実現した。
• CRGモジュールはボクセルベースのベースラインと比較してメモリ使用量を95%削減し、1プロポーズあたり1.08MBのメモリと5.6msの推論時間を実現した。
• PRGモジュールは、異なる初期回帰器に対して一貫して3Dポーズ精度を向上させ、MPJPEを平均7.3%～8.2%まで低減した。
• ボクセルボックスが$32^3$のわずかな数でも、提案手法はMPJPE15.95mmを達成し、Tuら[35]を1.84mm上回りながら、計算コストの1/4に抑えた。
• フレームワークは高い効率性を維持している：1GPUで1人あたりMMGは2.4ms、CRGは5.6ms、4人の人物に対して合計推論時間が65ms未満である。

Figure 2: Overview of our approach. The whole pipeline follows the top-down paradigm. It first applies Multi-view Matching Graph Module (MMG) to obtain coarse human center candidates, which are used to limit the search space. Center Refinement Graph Module (CRG) adaptively performs point-based predi