[論文レビュー] FOF: Learning Fourier Occupancy Field for Monocular Real-time Human Reconstruction

Feng Qiao, Yebin Liu+3 more|arXiv (Cornell University)|Jun 5, 2022

Anatomy and Medical Technology被引用数 13

ひとこと要約

本稿では、視線方向に沿った占有状態をフーリエ級数で表現する2次元画像に整合したフィールドとして3次元人体形状を表現する新規な3次元幾何表現であるフーリエ占有フィールド（FOF）を提案する。FOFをマルチチャネル画像として保存することで、2D畳み込みニューラルネットワークと互換性があり、エンドツーエンドでリアルタイム（30+ FPS）の単眼再構成が可能となり、最新の精度を達成する。メッシュへの容易な変換も可能である。

ABSTRACT

The advent of deep learning has led to significant progress in monocular human reconstruction. However, existing representations, such as parametric models, voxel grids, meshes and implicit neural representations, have difficulties achieving high-quality results and real-time speed at the same time. In this paper, we propose Fourier Occupancy Field (FOF), a novel powerful, efficient and flexible 3D representation, for monocular real-time and accurate human reconstruction. The FOF represents a 3D object with a 2D field orthogonal to the view direction where at each 2D position the occupancy field of the object along the view direction is compactly represented with the first few terms of Fourier series, which retains the topology and neighborhood relation in the 2D domain. A FOF can be stored as a multi-channel image, which is compatible with 2D convolutional neural networks and can bridge the gap between 3D geometries and 2D images. The FOF is very flexible and extensible, e.g., parametric models can be easily integrated into a FOF as a prior to generate more robust results. Based on FOF, we design the first 30+FPS high-fidelity real-time monocular human reconstruction framework. We demonstrate the potential of FOF on both public dataset and real captured data. The code will be released for research purposes.

研究の動機と目的

• 単一の画像から高品質でリアルタイムな3次元人体再構成を達成する課題に対処すること。
• パラメトリックモデル、ボクセルグリッド、メッシュ、およびインパルシットニューラルフィールドといった従来の表現の限界を克服し、効率性、正確性、互換性を統合すること。
• 2D画像と3次元幾何を接続する3次元表現を設計し、高速な推論とメッシュ抽出を可能にすること。
• シンプルでエンドツーエンドの学習パイプラインを用いて、リアルタイムの再構成（30+ FPS）を実現し、高精細な結果を得ること。
• SMPLなどの事前知識との柔軟な統合と、FOFとメッシュ間のシームレスな変換を可能にすること。

提案手法

• FOFは、入力画像に整合した2次元フィールドとして3次元オブジェクトを表現し、視線方向に沿った占有状態をフーリエ級数の最初のいくつかの項で符号化する。
• 3次元占有フィールドはz方向においてバンド制限関数として近似され、メモリ使用量の削減とトポロジカル構造の保持が実現される。
• FOFはマルチチャネル画像として保存され、2次元畳み込みニューラルネットワークとの互換性が確保され、効率的な推論が可能になる。
• ニューラルネットワークが画像変換回帰ヘッドを用いて単一の画像からFOFを予測することで、エンドツーエンドの学習が可能になる。
• メッシュは再構築された占有フィールドに対してマーチング・キューブスを適用することで抽出され、FOFとメッシュ間の双方向変換がサポートされる。
• パラメトリックモデル（例：SMPL）を事前知識として統合することで、ロバストネスと一般化性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 高精細な再構成とリアルタイム推論の両立を実現する2次元に整合した3次元表現を設計できるか？
• RQ2 視線方向に沿った占有フィールドのフーリエ級数表現が、幾何的詳細を保持しながらも、効率的な計算とメッシュ抽出を可能にするか？
• RQ3 インパルシットニューラルフィールドやメッシュベースの手法と比較して、FOFは速度、正確性、ディープラーニングフレームワークとの互換性においてどのように差をつけるか？
• RQ4 FOFはパラメトリックモデルとの統合と、メッシュとの双方向変換をサポートできるか？
• RQ5 複雑な人体形状や衣装に対しても、再構成品質を損なわず、リアルタイム性能（30+ FPS）を達成できるか？

主な発見

• 提案されたFOF表現は、速度面で先行手法を上回りながらも高精度な再構成を維持する30+ FPSのリアルタイム単眼人体再構成を達成した。
• テストセットにおいて、FOFは比較対象手法の中で最小のチェンバーディスタンスおよびP2S距離を達成したが、PIFuHDに比べてわずかに高い法線画像誤差を示した。
• 15個のフーリエ係数（N=15）を用いたFOFは、最も詳細な幾何的特徴を保持したが、N≤12では顕著なアーティファクトが生じ、十分な調和項の重要性が確認された。
• 視覚的結果から、FOFは多様なポーズや衣装の詳細をロバストに再構築しており、バンド制限近似による高周波数ノイズの低減も確認された。
• FOFとメッシュ間のシームレスな変換が可能であり、SMPLを事前知識として統合することでロバストネスが向上した。
• FOFベースのパイプラインはエンドツーエンドで学習可能で、標準的な2D CNNとも互換性があり、3DTVやホログラフィックテレビプレゼンスシステムへの効率的な導入が可能である。