[論文レビュー] ECON: Explicit Clothed humans Optimized via Normal integration

Yuliang Xiu, Jinlong Yang+3 more|arXiv (Cornell University)|Dec 14, 2022

3D Shape Modeling and Analysis被引用数 8

ひとこと要約

ECONは、詳細な2次元法線マップと明示的なSMPL-Xボディ正則化を組み合わせることで、1枚のRGB画像から高精細で自由形式の衣装を着た3D人体を再構築する新規手法を提案する。まず前面・背面の法線マップを予測し、その後法線統合（d-BiNI）により不完全な2.5次元表面を再構築し、最後にスクリーネッド・ポアソンソルバーを用いて欠損した幾何を補完することで、CAPEおよびRenderPeopleデータセットにおいてリアルさと詳細さの面で最先端の性能を達成した。

ABSTRACT

The combination of deep learning, artist-curated scans, and Implicit Functions (IF), is enabling the creation of detailed, clothed, 3D humans from images. However, existing methods are far from perfect. IF-based methods recover free-form geometry, but produce disembodied limbs or degenerate shapes for novel poses or clothes. To increase robustness for these cases, existing work uses an explicit parametric body model to constrain surface reconstruction, but this limits the recovery of free-form surfaces such as loose clothing that deviates from the body. What we want is a method that combines the best properties of implicit representation and explicit body regularization. To this end, we make two key observations: (1) current networks are better at inferring detailed 2D maps than full-3D surfaces, and (2) a parametric model can be seen as a "canvas" for stitching together detailed surface patches. Based on these, our method, ECON, has three main steps: (1) It infers detailed 2D normal maps for the front and back side of a clothed person. (2) From these, it recovers 2.5D front and back surfaces, called d-BiNI, that are equally detailed, yet incomplete, and registers these w.r.t. each other with the help of a SMPL-X body mesh recovered from the image. (3) It "inpaints" the missing geometry between d-BiNI surfaces. If the face and hands are noisy, they can optionally be replaced with the ones of SMPL-X. As a result, ECON infers high-fidelity 3D humans even in loose clothes and challenging poses. This goes beyond previous methods, according to the quantitative evaluation on the CAPE and Renderpeople datasets. Perceptual studies also show that ECON's perceived realism is better by a large margin. Code and models are available for research purposes at econ.is.tue.mpg.de

研究の動機と目的

• implicit関数ベースの手法が新しいポーズやゆるい衣装を扱う際、退化または分離した形状を生じがちな問題を解消すること。
• 明示的ボディモデルの過剰な制約性が、細かな衣装のディテールやトポロジーを抑圧する問題を克服すること。
• implicit表現の自由形式の柔軟性とパrametricボディモデルの構造的安定性を統合すること。
• 詳細な2次元法線マップを中間監視として活用することで、3D再構築の忠実度を向上させること。
• 困難なポーズやゆるい衣装下でも、完全で高解像度の3D人体形状を再構築すること。

提案手法

• 本手法は、SMPL-Xボディ推定を条件として、画像から画像への変換ネットワークを用いて衣装を着た人物の前面および背面の詳細な2次元法線マップを最初に推定する。
• その後、SMPL-Xメッシュから導出された深度マップと法線マップを用い、法線適合性、SMPL-X整合性、シルエット整合性のバランスを取る新しい最適化手法により、不完全で高周波数の2.5次元表面（d-BiNI）を再構築する。
• d-BiNI表面はSMPL-Xを介して相互に登録され、幾何的整合性を保ちつつ、しわやたるみなどの細かなディテールを維持する。
• 前面と背面の表面間の欠損幾何を、穴を埋めつつ滑らかさを保ち、ボンボン状のアーチファクトを避けるスクリーネッド・ポアソン再構築により補完する。
• 顔および手の領域は、視覚的品質を向上させるために、オプションでSMPL-Xモデルからの洗練された、高品質な幾何に置き換えることができる。
• 最終的な3D形状は、ボクセル化されたSMPL-Xおよびd-BiNI表面を用い、BCE損失で学習されたMLPベースの占有ネットワークによりimplicitに表現する。

実験結果

リサーチクエスチョン

• RQ1 2次元法線マップを効果的に活用することで、直接的な3D予測よりも優れたディテールを再構築できるか？
• RQ2 明示的ボディモデル正則化を用いることで、細かな衣装ディテールを抑圧せずに再構築を安定化できるか？
• RQ3 法線マップとパラメトリックメッシュを統合することで、新しいポーズやゆるい衣装の状況でも再構築のロバストネスが向上するか？
• RQ4 2段階の表面再構築および補完パイプラインは、エンドツーエンドのimplicit関数手法を凌駕するか、リアルさと幾何的正確さの面で優れているか？
• RQ5 d-BiNIとポアソン補完の組み合わせは、遮蔽領域やプロファイル領域を処理する際、従来の手法と比較してどのように優れているか？

主な発見

• ECONはCAPEおよびRenderPeopleデータセットにおいて最先端の性能を達成し、Chamfer DistanceやF-Scoreといった定量的指標で顕著な向上を示した。
• 人的評価による知覚的評価では、ECONの再構築はPIFuHD、ICON、PaMIRよりも顕著にリアルであると評価された。
• 本手法は、困難なポーズ下でも、複雑なトポロジーを有するゆるいスカートや流れ出す生地を含む、詳細で自由形式の衣装を効果的に再構築できた。
• d-BiNI最適化ステップは、法線マップからの高周波数表面ディテールを効果的に保持しつつ、SMPL-Xメッシュとの整合性を維持した。
• ポアソン補完を含むECONの完全な再構築パイプラインは、他の手法で一般的なボンボン状のアーチファクトを発生させず、滑らかで整合性のある3D形状を生成した。
• 本手法は1枚あたり約97〜112秒で実行され、リファインメントを施したICON（115秒）を上回り、SOTAと同等の速度ながら優れた品質を提供した。