[論文レビュー] DiffuStereo: High Quality Human Reconstruction via Diffusion-based Stereo Using Sparse Cameras

Ruizhi Shao, Zerong Zheng+3 more|arXiv (Cornell University)|Jul 16, 2022

Advanced Vision and Imaging被引用数 4

ひとこと要約

DiffuStereoは、8台のスパarsなRGBカメラからのみ、部分的精度で段階的に深さマップを改善する拡散ベースのステレオモジュールを導入することで、3次元人体再構築のための新規なシステムを提案する。この手法は、高品質で詳細な3次元再構築を実現し、高密度カメラアレイに匹敵する性能を発揮し、1mm未塔の再構築精度において最先端の手法を42%以上上回り、粗い初期モデルと比較してChamfer距離を54.4%低減する。

ABSTRACT

We propose DiffuStereo, a novel system using only sparse cameras (8 in this work) for high-quality 3D human reconstruction. At its core is a novel diffusion-based stereo module, which introduces diffusion models, a type of powerful generative models, into the iterative stereo matching network. To this end, we design a new diffusion kernel and additional stereo constraints to facilitate stereo matching and depth estimation in the network. We further present a multi-level stereo network architecture to handle high-resolution (up to 4k) inputs without requiring unaffordable memory footprint. Given a set of sparse-view color images of a human, the proposed multi-level diffusion-based stereo network can produce highly accurate depth maps, which are then converted into a high-quality 3D human model through an efficient multi-view fusion strategy. Overall, our method enables automatic reconstruction of human models with quality on par to high-end dense-view camera rigs, and this is achieved using a much more light-weight hardware setup. Experiments show that our method outperforms state-of-the-art methods by a large margin both qualitatively and quantitatively.

研究の動機と目的

• 現在の学習ベースの手法が外見的特徴に依存するが、視点間の対応関係に依存しないことから、スパースビューRGBカメラからの高精度3次元人体再構築の課題に対処すること。
• 離散的コストボリュームや低解像度といった従来のステレオマッチング手法の制限を克服するため、拡散モデルを段階的ステレオマッチングに統合し、連続的かつ部分的精度での改善を実現すること。
• 高解像度（最大4K）の入力を処理できるが、過度なメモリ使用量を伴わない、記憶効率の良いマルチレベルネットワークアーキテクチャを設計すること。
• 補正誤差や隠蔽を扱える軽量なマルチビュー統合戦略と組み合わせることで、軽量なハードウェアでも高精細な3次元再構築を実現すること。

提案手法

• 独自の拡散カーネルとステレオ制約を用いた、2次元の流れドメインで不確実なディスparityフローを段階的に改善する、新規な拡散ベースのステレオモジュールを導入する。
• グローバルレベル（ダウンサンプリングされた画像からの意味特徴抽出）と拡散レベル（これらの特徴を拡散ベースのステレオネットワークに統合し、段階的な改善を実行）の2段階アーキテクチャを採用する。
• マルチビュー特徴とエピポーラ制約を条件として用いることで、ステレオの一貫性を保ち、スパースビュー環境下でも幾何学的正確性を向上させる。
• 高解像度入力処理時のメモリボトルネックを軽減するため、2段階アーキテクチャでピクチャーベースの学習戦略を採用する。
• 非剛体ICPを用いて、改善された深さ点群を粗い人体モデルにアライメントし、補正誤差や隠蔽を扱いながら、深さマップを統合する効率的なマルチビュー統合戦略を採用する。
• システムは、最初にDoubleFieldによって生成された粗い3次元人体メッシュから出発し、その後、そのメッシュをレンダリングして初期の深さマップとディスパリティフローを生成し、拡散による改善を実行する。

実験結果

リサーチクエスチョン

• RQ1 スパースビューRGB入力からの高精度3次元人体再構築に、拡散モデルを効果的に適応できるか？
• RQ2 拡散ベースのステレオは、制限的なメモリコストを伴わず、高解像度（4K）入力に対しても部分的精度を達成できるか？
• RQ3 従来の段階的ステレオや暗黙的学習手法と比較して、拡散ベースのステレオモジュールは幾何学的詳細性と再構築正確性をどの程度向上できるか？
• RQ4 実世界のスパースビュー設定における初期モデル誤差や補正不正確さに対して、この手法はどの程度頑健か？

主な発見

• DoubleFieldによって生成された粗いモデルと比較して、Chamfer距離を54.4%、P2S誤差を44.1%低減し、幾何学的正確性の顕著な向上を示した。
• 1mm未塔の再構築正確性において、以前の最先端手法を42%以上上回り、微細な幾何学的詳細を保持する優位性を証明した。
• 提案された拡散ベースのステレオネットワークは、8台のカメラでのスパースビュー条件下でも、部分的精度を達成する高品質な深さマップを生成した。
• 30ステップの逆方向実行で、8視点の入力に対して約12秒で高品質な結果を生成し、元の1000ステップの拡散モデルと比較して95%の高速化を達成した。
• アブレーションスタディにより、提案された拡散カーネルが元のカーネルよりも安定性と正確性に優れていることが確認され、一部のケースでノイズの多い結果を生じる元のカーネルと対照的であった。
• 8視点からのビジュアルハルで初期化された場合でも、可視領域の微細な幾何学的詳細を効果的に回復でき、粗い初期幾何学的形状に対しても頑健であることを示した。