[論文レビュー] ARCH++: Animation-Ready Clothed Human Reconstruction Revisited

Tong He, Yuanlu Xu+3 more|arXiv (Cornell University)|Aug 17, 2021

3D Shape Modeling and Analysis参考文献 70被引用数 9

ひとこと要約

ARCH++ は、1枚の画像から高精細でアニメーション対応の3次元衣装を着た人間アバターを再構築するエンド・ツー・エンドの画像ベースの手法を提案する。視点にかかわらず幾何学的形状とテクスチャの一貫性が向上している。本手法は、学習可能なポイントベースの幾何形状エンコーダー、ポーズあり空間とキャノニカル空間における同時占有予測のための共 supervise フレームワーク、表面の最適化のための画像間変換を導入し、合成および現実世界のベンチマークにおいて、リアリズムと再構築品質の分野で最先端の性能を達成している。

ABSTRACT

We present ARCH++, an image-based method to reconstruct 3D avatars with arbitrary clothing styles. Our reconstructed avatars are animation-ready and highly realistic, in both the visible regions from input views and the unseen regions. While prior work shows great promise of reconstructing animatable clothed humans with various topologies, we observe that there exist fundamental limitations resulting in sub-optimal reconstruction quality. In this paper, we revisit the major steps of image-based avatar reconstruction and address the limitations with ARCH++. First, we introduce an end-to-end point based geometry encoder to better describe the semantics of the underlying 3D human body, in replacement of previous hand-crafted features. Second, in order to address the occupancy ambiguity caused by topological changes of clothed humans in the canonical pose, we propose a co-supervising framework with cross-space consistency to jointly estimate the occupancy in both the posed and canonical spaces. Last, we use image-to-image translation networks to further refine detailed geometry and texture on the reconstructed surface, which improves the fidelity and consistency across arbitrary viewpoints. In the experiments, we demonstrate improvements over the state of the art on both public benchmarks and user studies in reconstruction quality and realism.

研究の動機と目的

• 従来の暗黙関数ベースの手法が、1枚の画像からリアリスティックでアニメーション可能な衣装を着た人間を再構築する際の限界を解消すること。
• アンポーズ処理の際、ポーズあり空間における忠実度とキャノニカル空間における完全性の間のトレードオフを克服すること。
• 通常、テクスチャや幾何学的形状が劣化する可能性がある隠蔽領域における再構築品質の向上。
• 手作業で設計された特徴量や量子化誤差なしに、3次元幾何学的形状と外観の事前知識をエンド・ツー・エンドで学習すること。
• AR/VRアプリケーションに適した、一貫性があり高精細な360°写真同等のリアルなアバターの生成。

提案手法

• 3次元ポイントクラウドから直接形状とポーズの事前知識を学習する、PointNet++ を用いたエンド・ツー・エンドのポイントベースの幾何形状エンコーダーを導入し、手作業で設計されたRBF特徴量に取って代わる。
• ポーズあり空間とキャノニカル空間の両方で占有状態を同時に予測する共 supervise フレームワークを提案し、空間間の一貫性制約を設けることで、忠実度と完全性のバランスを取る。
• 画像空間で表面法線とテクスチャを推定するための画像間変換ネットワークを採用し、それらをモールディング・インペイント方式を用いて3次元メッシュの最適化に活用する。
• 3次元表面をピクセルアラインドの暗黙関数で表現し、幾何学的形状と外観を統合的に符号化することで一貫性のある再構築を実現する。
• 詳細を保持しながら自己交差を避けるために、キャノニカル空間からポーズあり空間への予測を変換する微分可能ワープ方式を適用する。
• パラメトリックボディモデル（SMPL）を活用してスキンニングウェイトを転送し、最終的なアバターがアニメーション対応であることを保証する。

Figure 1: Given an image of a subject in arbitrary pose (left), our method could generate photorealistic avatars in both the posed input space (middle) as well as auto-rigged canonical space (right).

実験結果

リサーチクエスチョン

• RQ1 暗黙関数ベースの再構築において、形状とポーズの事前知識をよりよく捉えるために、3次元人間の幾何学的形状の表現をどのように改善できるか？
• RQ2 ポーズあり空間における再構築忠実度とキャノニカル空間における完全性の間の根本的なトレードオフとは何か？ そして、それはどのように解消できるか？
• RQ3 画像ベースの法線とテクスチャの最適化は、隠蔽領域における3次元表面品質の向上と視点一貫性の確保に寄与するか？
• RQ4 空間特徴量のエンド・ツー・エンド学習は、手作業で設計された特徴量やボクセルベースの符号化と比較して、再構築精度と頑健性においてどのように異なるか？
• RQ5 複数の空間における共 supervise は、アニメーション対応の衣装を着た人間アバターのリアリズムと構造的整合性をどの程度向上できるか？

主な発見

• ARCH++ は公開ベンチマークで最先端の性能を達成し、ポーズあり空間では平均再構築誤差を 0.031 まで低下させ、キャノニカル空間では 0.039 までに抑え、従来手法を上回った。
• 学習可能なポイントベースの幾何形状エンコーダーは、手作業で設計されたRBF特徴量と比較して誤差を 0.002 減少させ、ボクセルベースの代替手法に見られる量子化アーティファクトを回避した。
• ポーズあり空間とキャノニカル空間の両方における共 supervise により、過剰伸長や自己交差などのメッシュアーティファクトが解消され、忠実度と完全性が向上した。
• モールディング・インペイントによる画像空間での法線推定により、オブジェクト空間の回帰や画像空間入力ベースラインと比較して、背面などに鋭い表面ディテールが得られた。
• ユーザースタディーの結果、ARCH++ は従来手法と比較して、あらゆる視点でよりリアリスティックで一貫性のあるアバターを生成することが確認された。
• 本手法は、複雑なトポロジー変化に対しても耐性を示し、隠蔽領域でさえも詳細な衣装のしわやテクスチャを正確に再構築できた。

Figure 2: Overview of the initial joint-space implicit surface reconstruction . This procedure includes three components: i) semantic-aware geometry encoder, ii) pixel-aligned appearance encoder and iii) joint-space occupancy estimator. See text for detailed explanation.