[論文レビュー] TexMesh: Reconstructing Detailed Human Texture and Geometry from RGB-D Video

Tiancheng Zhi, Christoph Lassner+4 more|arXiv (Cornell University)|Aug 1, 2020

3D Shape Modeling and Analysis参考文献 60被引用数 5

ひとこと要約

TexMesh は、入射照明および時空間的事前知識を活用する自己教師付きフレームワークを用いて、RGB-D動画から高精細な人間メッシュと詳細な高解像度アルベドテクスチャを再構築する。光度制約および変形制約を統合的に最適化することで、自己適応段階を経て18 fpsで最先端の自由視点レンダリングを達成する。

ABSTRACT

We present TexMesh, a novel approach to reconstruct detailed human meshes with high-resolution full-body texture from RGB-D video. TexMesh enables high quality free-viewpoint rendering of humans. Given the RGB frames, the captured environment map, and the coarse per-frame human mesh from RGB-D tracking, our method reconstructs spatiotemporally consistent and detailed per-frame meshes along with a high-resolution albedo texture. By using the incident illumination we are able to accurately estimate local surface geometry and albedo, which allows us to further use photometric constraints to adapt a synthetically trained model to real-world sequences in a self-supervised manner for detailed surface geometry and high-resolution texture estimation. In practice, we train our models on a short example sequence for self-adaptation and the model runs at interactive framerate afterwards. We validate TexMesh on synthetic and real-world data, and show it outperforms the state of art quantitatively and qualitatively.

研究の動機と目的

• 単一の RGB-D 動画シーケンスから高品質な自由視点レンダリングを可能にすること。
• 既存手法が幾何形状を想起したり、テクスチャに埋め込まれた照明効果を生じさせたりする限界を解消すること。
• 実世界のデータを用いて、遮蔽領域でさえも詳細で時空間的に整合性のあるメッシュとアルベドテクスチャを再構築すること。
• 手動アノテーションを一切不要とする合成データで学習したモデルを、実際の RGB-D シーケンスに自己適応させることで、シミュレーションから現実へのギャップを埋めること。
• 光度および時間的事前知識を用いて、衣服のしわなどの繊細な幾何的詳細と視認に鋭いテクスチャを生成すること。

提案手法

• 局所的な表面幾何とアルベドを推定するために、入射照明および環境マップを活用し、正確な光度制約を実現する。
• インスタンス正則化と ReLU を用いた U-Net に類似したアーキテクチャを用いて、アルベド推定、キーフレーム選択、および精緻化を行う CNN ベースのテクスチャ生成パイプラインを採用する。
• 教師あり合成データ上でディスplaceメントマップ予測モデルを事前学習し、その後、光度的ペルセプチュアル損失と時空間的変形事前知識を用いて実データシーケンスでファインチューニングする。
• レンダリング済み画像と入力画像間の光度誤差を最小化するとともに、時間的滑らかさと幾何的整合性を強制する自己教師付き最適化スキームを適用する。
• ペルセプチュアル損失に VGG 特徴量を用い、アダプティブロバスト損失を導入することで、テクスチャの忠実性を向上させ、アーチファクトを低減する。
• SMPL ベースの粗いメッシュをカスタム人間モデルにマッピングすることで、DeepHuman や HMD などの既存の再構築パイプラインとの互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 自己教師付きフレームワークは、合成データで学習したモデルを実世界の RGB-D シーケンスに効果的に適応させ、高品質な人間メッシュおよびテクスチャ再構築を可能にするか？
• RQ2 入射照明を活用することで、アルベド推定を向上させ、テクスチャ生成における照明アーチファクトを低減できるか？
• RQ3 時空間的変形事前知識を用いることで、遮蔽領域における衣服のしわなどの繊細な幾何的詳細の再構築が可能になるか？
• RQ4 光度およびペルセプチュアル損失を用いることで、照明や幾何的不整合を無視する手法と比較して、テクスチャのシャープネスがどの程度向上するか？
• RQ5 短時間の適応段階を経て、自己教師付きで実時間性能（18 fps）を達成できるか？

主な発見

• TexMesh は、Tex2Shape や TNA といった最先端手法を上回り、よりシャープなテクスチャと少ない埋め込み照明効果を実現する。
• 自己適応段階を経て 18 fps の推論速度を達成し、詳細な人間アバターのリアルタイム自由視点レンダリングを可能にする。
• 入射照明と光度制約を用いることで、幾何的不整合に起因するテクスチャのぼやけを低減し、明確なアルベドマップを生成する。
• 短い実データシーケンスにおける自己教師付きファインチューニングにより、複雑な動的衣料変形および遮蔽領域への一般化が可能になる。
• ペルセプチュアル損失および時空間的損失の活用により、見えない部分でさえも一貫性があり現実的なメッシュ変形が実現される。
• 定性的な結果では、合成データおよび実データの両方で優れたコントラストとテクスチャの明瞭さを示し、最小限のアーチファクトと目立たない照明の混合が確認される。