[論文レビュー] StereoPIFu: Depth Aware Clothed Human Digitization via Stereo Vision

H. C. Yang, Juyong Zhang+4 more|arXiv (Cornell University)|Apr 12, 2021

Advanced Vision and Imaging参考文献 55被引用数 4

ひとこと要約

StereoPIfuは、ステレオビジョンと暗黙関数表現を用いた、深度に配慮した3D衣装付き人体デジタル化手法を提案する。ボクセルに整合した特徴量と相対的zオフセット機構を統合することで、PIFuHDなどの先行単一画像手法に比べ、より正確で完全かつ頑健な再構成を実現し、点対表面誤差を74.1%、チェンファーディスタンスを75.1%低減した。

ABSTRACT

In this paper, we propose StereoPIFu, which integrates the geometric constraints of stereo vision with implicit function representation of PIFu, to recover the 3D shape of the clothed human from a pair of low-cost rectified images. First, we introduce the effective voxel-aligned features from a stereo vision-based network to enable depth-aware reconstruction. Moreover, the novel relative z-offset is employed to associate predicted high-fidelity human depth and occupancy inference, which helps restore fine-level surface details. Second, a network structure that fully utilizes the geometry information from the stereo images is designed to improve the human body reconstruction quality. Consequently, our StereoPIFu can naturally infer the human body's spatial location in camera space and maintain the correct relative position of different parts of the human body, which enables our method to capture human performance. Compared with previous works, our StereoPIFu significantly improves the robustness, completeness, and accuracy of the clothed human reconstruction, which is demonstrated by extensive experimental results.

研究の動機と目的

• PIFuなどの単一画像3D人体再構成手法における深度の曖昧さと一貫性の欠如した空間的位置づけを解決する。
• 衣装を着た人体再構成における幾何的詳細の回復と構造的一致性を向上させる。
• 単一視点手法に比べ、より豊かな幾何的制約を提供するステレオビジョンを活用する。
• 深度に配慮した監視により、背面領域における破損した四肢やジオメトリの複製といったアーティファクトを排除する。
• 標準化空間の正規化を必要とせず、複雑な人体の形状やポーズを正確で頑健かつ完全に再構成することを可能にする。

提案手法

• ステレオベースのボリュームデータから抽出したボクセルに整合した特徴量を導入し、深度に配慮した3D特徴表現を実現する。
• 補正済みステレオ画像特徴量からコストボリュームを構築し、対応ピクセル間の幾何的相関を符号化する。
• ボクセルグリッド上の三線形補間を用いて、3Dクエリポイントに空間的に整合した特徴量を生成する。
• 暗黙関数の入力として、3Dクエリポイントとその投影ピクセルの予測深度との間の相対的zオフセットを組み込む。
• 高精度な深度マップを予測し、グローバルな形状事前分布として活用することで、占有推論の精度を向上させ、表面の詳細を改善する。
• ステレオ幾何を完全に活用するネットワークアーキテクチャを設計し、標準化なしにカメラ座標空間における空間的局所化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 単一画像手法と比較して、ステレオビジョンは3D衣装付き人体再構成における深度の正確さと空間的一致性を向上させ得るか？
• RQ2 ステレオネットワークから得られるボクセルに整合した特徴量は、暗黙関数ベース再構成における幾何的詳細回復をどのように向上させるか？
• RQ3 絶対的z値の代わりに相対的zオフセットを用いることで、表面の詳細がどの程度向上し、アーティファクトが減少するか？
• RQ4 ステレオ推定からの深度に配慮した監視により、破損した四肢などの構造的誤差が再構成された人体から排除できるか？
• RQ5 最先端手法と比較して、本手法は困難なポーズ、隠蔽、実世界データにおいてどの程度の性能を発揮するか？

主な発見

• StereoPIfuは、点対表面距離をPIFuHDの1.97cmから0.51cmにまで低減し、74.1%の改善を達成した。
• チェンファーディスタンスはPIFuHDの2.21cmから0.55cmにまで低減され、75.1%の削減が確認され、優れた幾何的正確性を示した。
• 本手法は、妊婦や曲げたポーズといった複雑な形状を正確に再構成し、相対的な四肢位置を正確に保持できた。
• バイノキュラーカメラで撮影された実世界データに対しても、変動する照明条件やキャリブレーション条件下でも、安定的かつ正確な再構成を生成した。
• PIFuHDと比較して、特に非入力ビューからも顕著に現れる、脚が長く伸びたり、四肢の比が不正確になったなどの構造的アーティファクトを回避した。
• 単一画像ベースラインとは異なり、剛体のアライメントやスケーリング操作を必要とせず、深度に配慮した再構成を実現した。