[論文レビュー] FLEX: Parameter-free Multi-view 3D Human Motion Reconstruction.

Brian Gordon, Sigal Raab+3 more|arXiv (Cornell University)|May 5, 2021

Human Pose and Action Recognition参考文献 48被引用数 4

ひとこと要約

FLEX は、カメラパラメータに依存しない、パラメータフリーのエンドツーエンドのマルチビュー3次元人体運動再構成モデルであり、複数の視点間で不変な3次元関節回転とボーン長さを学習することで、カメラパラメータに依存しない。新しいマルチビュー融合層を用いて動画ストリームを統合し、時間的に整合性のある一貫性のある3次元スケルトンを再構成する。カメラパラメータが存在しない状況では最先端の手法を上回り、パラメータが提供された場合にもそれらと同等の性能を発揮する。

ABSTRACT

The increasing availability of video recordings made by multiple cameras has offered new means for mitigating occlusion and depth ambiguities in pose and motion reconstruction methods. Yet, multi-view algorithms strongly depend on camera parameters, in particular, the relative positions among the cameras. Such dependency becomes a hurdle once shifting to dynamic capture in uncontrolled settings. We introduce FLEX (Free muLti-view rEconstruXion), an end-to-end parameter-free multi-view model. FLEX is parameter-free in the sense that it does not require any camera parameters, neither intrinsic nor extrinsic. Our key idea is that the 3D angles between skeletal parts, as well as bone lengths, are invariant to the camera position. Hence, learning 3D rotations and bone lengths rather than locations allows predicting common values for all camera views. Our network takes multiple video streams, learns fused deep features through a novel multi-view fusion layer, and reconstructs a single consistent skeleton with temporally coherent joint rotations. We demonstrate quantitative and qualitative results on the Human3.6M and KTH Multi-view Football II datasets. We compare our model to state-of-the-art methods that are not parameter-free and show that in the absence of camera parameters, we outperform them by a large margin while obtaining comparable results when camera parameters are available. Code, trained models, video demonstration, and additional materials will be available on our project page.

研究の動機と目的

• 制御不能で動的な環境において、正確なカメラパラメータに依存するマルチビュー3次元人体運動再構成手法の限界を解消すること。
• 内部および外部カメラパラメータへの依存を排除し、現実世界の制約のない環境での展開を可能にすること。
• カメラキャリブレーションを必要とせず、複数の動画ストリームから一貫性があり時間的に整合性のある3次元人体スケルトンを再構成する統合的でエンドツーエンドのモデルを開発すること。
• 異なるカメラ視点間で不変な幾何的性質、特に3次元関節角度とボーン長さを活用して、耐障害性と一般化性能を向上させること。

提案手法

• FLEX は、複数のカメラ視点間で不変な特徴として3次元関節回転とボーン長さを学習し、3次元関節位置の必要性を回避する。
• 複数の動画ストリームからの深層特徴を共有表現に統合する、新しいマルチビュー融合層を採用する。
• 時間的整合性を持つ単一の一貫性のある3次元スケルトンシーケンスを再構成するように、エンドツーエンドで訓練する。
• 異なるカメラ視点で不変な3次元角度とボーン長さの幾何的性質を活用して、複数視点の予測を統一する。
• 明示的なカメラパラメータの監視なしに、すべてのカメラ視点で一貫した3次元ポーズ推定を保証するため、シアン・ライクなアーキテクチャを採用する。
• 滑らかで現実的である運動シーケンスを保証するため、3次元キーポイント回帰と時間的整合性損失の組み合わせで訓練する。

実験結果

リサーチクエスチョン

• RQ1 3次元関節の内部パラメータや外部パラメータのカメラキャリブレーションに依存せずに、3次元人体運動再構成を達成できるか？
• RQ2 特に3次元関節角度とボーン長さといった幾何的不変性を、キャリブレーションされていないカメラ間で予測を統一するためにどのように活用できるか？
• RQ3 パラメータフリーなモデルは、制御不能で動的な環境において、カメラパラメータを必要とする最先端の手法をどの程度上回れるか？
• RQ4 ディープラーニングモデルは、複数のキャリブレーションされていない動画ストリーム間で、一貫性があり時間的に整合性のある3次元運動再構成を達成できるか？

主な発見

• FLEX は、Human3.6M および KTH Multi-view Football II データセットの両方で、カメラパラメータが存在しない状況において、最先端の手法を上回る性能を示した。
• カメラパラメータが提供された場合、FLEX は最も優れた既存のパラメータ依存手法と同等の性能を達成した。
• パラメータフリーな設計と幾何的不変性への依存のおかげで、制御不能で動的な環境においても頑健であることが示された。
• 新規のマルチビュー融合層のおかげで、視点間での効果的な特徴集約が可能になり、再構成精度が向上した。
• 時間的整合性損失は、再構成された運動シーケンスの滑らかさと現実性を顕著に向上させた。
• 多様なカメラ設定にわたる一般化性能が優れており、3次元回転とボーン長さの不変性を学習する有効性が裏付けられた。