[論文レビュー] Large Area 3D Human Pose Detection Via Stereo Reconstruction in Panoramic Cameras

Christoph Heindl, Thomas Pönitz+2 more|arXiv (Cornell University)|Jul 1, 2019

Human Pose and Action Recognition参考文献 42被引用数 5

ひとこと要約

本稿では、2台のパノラマ魚眼カメラを用いた大面積3次元人体ポーズ推定システムを提案する。直線的視野変換を活用することで、再トレーニングを伴わずに標準的な2次元ディープラーニングポーズ推定器を適用可能となる。6×6メートルの領域において3次元ポーズ再構成精度が2–3 cmに達し、最小限のハードウェアおよびキャリブレーションのオーバーヘッドで、頑健なエゴノミクス分析が可能となる。

ABSTRACT

We propose a novel 3D human pose detector using two panoramic cameras. We show that transforming fisheye perspectives to rectilinear views allows a direct application of two-dimensional deep-learning pose estimation methods, without the explicit need for a costly re-training step to compensate for fisheye image distortions. By utilizing panoramic cameras, our method is capable of accurately estimating human poses over a large field of view. This renders our method suitable for ergonomic analyses and other pose based assessments.

研究の動機と目的

• 広角魚眼レンズを用いた大範囲の視野において、正確な3次元人体ポーズ推定の課題に取り組む。
• 標準的な2次元ポーズ推定器は、非ピンホールカメラモデルに起因する魚眼レンズ歪みと互換性がないという制限を克服する。
• 魚眼歪みに特化した再トレーニングなしで、実用的な大規模3次元ポーズ検出を可能にする。
• 遮蔽や複雑なカメラ配置下でも、実世界の設定において頑健で正確な性能を示す。
• 最小限のカメラハードウェアで、広大な作業領域におけるエゴノミクスおよびバイオメカニカルな評価を支援する。

提案手法

• 歪みのある画像点を歪みのない座標にマッピングするキャリブレートされた投影モデルを用いて、生の魚眼画像を直線的視野に変換する。
• 事前にトレーニングされた2次元畳み込みニューラルネットワーク（COCOベース）を、補正済み視野上でキーポoin検出に適用し、魚眼歪みに特化した再トレーニングを回避する。
• 2台の一般位置にあるカメラからのステレオ制約を用いて、三角測量により3次元関節位置を再構成する。
• 反復的キャリブレーションを用いて、シーン全体で再投影誤差を最小化するように内在的および外在的パラメータを推定する。
• 魚眼視野を同心円状のリング（中央、外縁、端縁）に分割し、空間的誤差分布を分析し、幾何的正確性を検証する。
• 3次元関節の一貫性および既知の肢長制約に基づいて、反復的最適化によりポーズ推定を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 魚眼画像からの直線的視野変換により、再トレーニングを伴わず、標準的な2次元ディープラーニングポーズ推定器を直接使用可能になるか？
• RQ2 ステレオ魚眼カメラを用いた場合、6×6メートルの広大な領域における3次元ポーズ再構成精度はどの程度達成可能か？
• RQ3 画像歪みおよびレンズ端縁効果が3次元ポーズ推定精度に与える影響は何か？ また、それらは定量的に軽減可能か？
• RQ4 2台の一般位置にある魚眼カメラからのステレオ再構成は、遮蔽や動的運動下でも頑健な性能を発揮できるか？
• RQ5 従来のマルチカメラセットアップと比較して、提案手法はハードウェアおよびキャリブレーションの複雑さをどの程度低減できるか？

主な発見

• 6×6メートルの領域において、3次元ポーズ再構成精度が2–3 cmに達し、1.5 mのターゲット長さについて、中央部では1.49±0.01 m、外縁部では1.52±0.018 m、端縁部では1.56±0.035 mの測定誤差を示した。
• 魚眼画像からの直線的視野生成により、再トレーニングを伴わず事前トレーニング済み2次元ポーズ推定器を直接適用可能となり、開発作業の大幅な削減が実現した。
• 3次元肢長統計は、15分間（10,800フレーム）の動画で安定した値を示し、ステレオセットアップの不正確さおよび2次元検出ノイズによるわずかな変動が生じた。
• 視認性制約のため、顔の特徴はより大きな身体部位よりも頻繁に再構成されない。再構成頻度は肢ごとに異なる（図9）。
• 性能タイミングの結果、2次元検出が計算を支配しており、640×640解像度で1.80±0.05 sを要したが、直線的視野生成および3次元再構成は100 ms未満であった。
• 本システムは、障害物や遮蔽がある複雑な環境においても、一貫した3次元ポーズ推定を維持できることを示し、エゴノミクス分析への実用可能性を裏付けた。