[論文レビュー] Improving neural implicit surfaces geometry with patch warping

François Darmon, B. Bascle+3 more|arXiv (Cornell University)|Dec 17, 2021

3D Shape Modeling and Analysis被引用数 7

ひとこと要約

この論文では、予測された3次元幾何構造を用いて画像パッチをワープすることで、マルチビューの写真的一致性を最適化することにより、ニューラルインクリメント表面再構築を向上させるNeuralWarpを提案する。SSIM類似度を用いたパッチワープと、ソフトマスクによる可視性／隠れの取り扱いにより、最先端の教師なし手法と比較してDTUおよびEPFLベンチマークで3D再構築精度が20%以上向上した。

ABSTRACT

Neural implicit surfaces have become an important technique for multi-view 3D reconstruction but their accuracy remains limited. In this paper, we argue that this comes from the difficulty to learn and render high frequency textures with neural networks. We thus propose to add to the standard neural rendering optimization a direct photo-consistency term across the different views. Intuitively, we optimize the implicit geometry so that it warps views on each other in a consistent way. We demonstrate that two elements are key to the success of such an approach: (i) warping entire patches, using the predicted occupancy and normals of the 3D points along each ray, and measuring their similarity with a robust structural similarity (SSIM); (ii) handling visibility and occlusion in such a way that incorrect warps are not given too much importance while encouraging a reconstruction as complete as possible. We evaluate our approach, dubbed NeuralWarp, on the standard DTU and EPFL benchmarks and show it outperforms state of the art unsupervised implicit surfaces reconstructions by over 20% on both datasets.

研究の動機と目的

• マルチビュー3次元再構築における高周波数テクスチャの捉え込みに限界を示すニューラルインクリメント表面の精度向上を図ること。
• ボリュメトリックレンダリングのみを用いて幾何構造を最適化する方法では、入力画像の微細な詳細を活用できないという課題を克服すること。
• 写真的一致性を直接最適化できる、微分可能で幾何構造に配慮した画像ワープメカニズムを導入すること。
• 不正な再投影からの誤った勾配を避けるために、ワープ中に可視性と隠れをきめ細かく取り扱うこと。
• 教師ありデータや明示的な深度教師ありを必要とせず、標準ベンチマークで顕著な性能向上を示すこと。

提案手法

• インクリメントオカパシティおよびノーマルネットワークによって予測された3次元幾何構造を用いて、ソースビューの画像パッチを基準ビューにワープする。
• 3次元点をレイに沿って基準画像平面に射影するために、平面シーン近似を用いる。
• 構造的類似度（SSIM）を用いて、ワープされたパッチと基準画像パッチの類似度を測定する。SSIMは照明変化に対して感受性が低いため、頑健な指標である。
• 基準ピクセルおよびソースビューごとにソフト可視性マスクを導入し、隠れや不正な再投影からの寄与を軽減する。
• ボリュメトリックレンダリング損失と、新しいパッチワープ一貫性損失を組み合わせ、幾何構造とカラーのネットワークを同時に最適化する。
• 任意のソースビューに正当な再投影がないピクセルからの損失寄与を削除する可視性マスクを適用し、学習安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 パッチワープによるマルチビュー写真的一致性の最適化は、ニューラルインクリメント表面の幾何的精度を顕著に向上させることができるか？
• RQ2 SSIMに基づくパッチ類似度は、非ラムベールト材質や照明変動に対処する上で、ピクセル単位の強度差よりも優れているか？
• RQ3 微分可能な画像ワープ中に可視性と隠れを効果的にモデル化することで、幾何構造最適化にアーチファクトを生じさせないか？
• RQ4 パッチレベルのワープとピクセルレベルのワープの間で、再構築品質向上に寄与する相対的寄与度は何か？
• RQ5 ボリュメトリックレンダリング損失とワープ一貫性損失を組み合わせたハイブリッド損失は、教師なし3次元再構築で最先端の性能を達成できるか？

主な発見

• NeuralWarpは、最先端の教師なしニューラルインクリメント手法と比較して、DTUおよびEPFLベンチマークの全シーン平均で3D再構築精度が20%以上向上した。
• 完全な手法はDTUデータセットでチェンバーディスタンス0.68を達成し、VolSDF（0.85）、UNISURF、MVSDFを著しく上回った。
• パッチレベルのワープはピクセルレベルのワープに比べ12%の向上を示し、写真的一致性最適化における文脈的類似度の重要性を裏付けた。
• 隠れマスクを削除すると性能が低下し、訓練中に不正な再投影を抑制するためのその重要性が確認された。
• アブレーションスタディの結果、ボリュメトリックレンダリング損失とワープ損失を組み合わせることで、単独で使用する場合よりも優れた結果が得られ、完全なモデルが最小のチェンバーディスタンスを達成した。
• 定性的な結果から、NeuralWarpはエッジや表面パターンといった高周波数テクスチャや微細な幾何的詳細を効果的に保持できており、標準的なインクリメント手法でしばしばぼやける点が改善された。