[論文レビュー] PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization

Shunsuke Saito, Zeng Huang+4 more|arXiv (Cornell University)|May 13, 2019

3D Shape Modeling and Analysis参考文献 75被引用数 147

ひとこと要約

本論文は、単一画像からの高解像度の衣料付き人間をピクセル整列付きの完全畳み込み型の隐式関数（PIFu）でデジタル化し、複数視点を組み込むことができる。

ABSTRACT

We introduce Pixel-aligned Implicit Function (PIFu), a highly effective implicit representation that locally aligns pixels of 2D images with the global context of their corresponding 3D object. Using PIFu, we propose an end-to-end deep learning method for digitizing highly detailed clothed humans that can infer both 3D surface and texture from a single image, and optionally, multiple input images. Highly intricate shapes, such as hairstyles, clothing, as well as their variations and deformations can be digitized in a unified way. Compared to existing representations used for 3D deep learning, PIFu can produce high-resolution surfaces including largely unseen regions such as the back of a person. In particular, it is memory efficient unlike the voxel representation, can handle arbitrary topology, and the resulting surface is spatially aligned with the input image. Furthermore, while previous techniques are designed to process either a single image or multiple views, PIFu extends naturally to arbitrary number of views. We demonstrate high-resolution and robust reconstructions on real world images from the DeepFashion dataset, which contains a variety of challenging clothing types. Our method achieves state-of-the-art performance on a public benchmark and outperforms the prior work for clothed human digitization from a single image.

研究の動機と目的

• 高品質な単一画像または複数視点からの3D衣料付き人体再構築を動機づける。
• ピクセル整列特徴を介して空間的ディテールを保持する完全畳み込み隐式表現を開発する。
• テンプレートなしに任意のトポロジを持つ衣料のテクスチャ予測を可能にする。
• 従来のグローバル特徴隐式アプローチおよびテンプレートベース手法に対する改善を示す。

提案手法

• 完全畳み込みネットワークを用いてピクセル整列隐式場を学習する。
• グローバル特徴とピクセル整列ローカル特徴を組み合わせて3D占有/メッシュ情報を回帰する。
• 同じフレームワークを用いて任意のトポロジを持つ3D表面のテクスチャ推定をサポートする。
• 利用可能な場合には複数視点情報を組み込んで再構築品質を向上させる。
• グローバル隐式関数ベースライン（例：IM-GAN）およびテンプレートベース手法と比較する。
• 補足資料で技術的な詳細とトレーニング手順を提供し、コードを公開する。

実験結果

リサーチクエスチョン

• RQ1 ピクセル整列の完全畳み込み隐式表現は、単一画像から高解像度の衣料付き人間の形状とテクスチャを回復できるか？
• RQ2 複数視点情報を取り入れると、単一視点入力と比較して3D再構築の品質とテクスチャの忠実度はさらに向上するか？
• RQ3 PIFuはジオメトリとテクスチャの精度の点で、グローバル特徴隐式法やテンプレートベースのアプローチとどう比較されるか？
• RQ4 フレームワークはテンプレートに頼らず、衣服が任意のトポロジを持つ場合（例：ドレス、スカート）の再構成を可能にするか？
• RQ5 遮蔽やプロファイルビューが再構成品質に及ぼす影響はどの程度か？

主な発見

• PIFuは単一画像からのテクスチャ付き高解像度の衣料付き人体のデジタル化を可能にし、複数視点を利用できる。
• ピクセル整列の完全畳み込みアプローチは、グローバル隐式法（IM-GAN）と比べて空間的整合性とディテールの保持を改善する。
• 3視点を用いた場合、テールートの3指標すべてでテンプレートベース手法よりPIFuが優れる（Normal, P2S, Chamferの全指標で向上）。
• テンプレートベース手法 vs. PIFu（3視点）では、Normalが0.127から0.107へ、P2Sが0.820から0.665へ、Chamferが0.795から0.641へ改善する。
• PIFuは任意トポロジを持つ3D表面上のテクスチャを予測でき、遮蔽やプロファイルビュー下でもグローバルに妥当な形状を回復できる。