[論文レビュー] GaussianObject: High-Quality 3D Object Reconstruction from Four Views with Gaussian Splatting

Yang Chen, Sikuang Li+6 more|arXiv (Cornell University)|Feb 15, 2024

3D Surveying and Cultural HeritageEarth and Planetary Sciences被引用数 3

ひとこと要約

GaussianObjectは、3Dガウススプラッティングを用いて4枚の入力画像からのみ高品質な3Dオブジェクト再構築を実現する画期的なフレームワークを提案する。視覚ハルの事前知識とフラーター除去を統合してマルチビューの一貫性を確保し、その後、欠損または圧縮された幾何構造を回復するための拡散ベースのガウス修復モデルを採用することで、MipNeRF360、OmniObject3D、OpenIlluminationで最先端の結果を達成した。

ABSTRACT

Reconstructing and rendering 3D objects from highly sparse views is of critical importance for promoting applications of 3D vision techniques and improving user experience. However, images from sparse views only contain very limited 3D information, leading to two significant challenges: 1) Difficulty in building multi-view consistency as images for matching are too few; 2) Partially omitted or highly compressed object information as view coverage is insufficient. To tackle these challenges, we propose GaussianObject, a framework to represent and render the 3D object with Gaussian splatting that achieves high rendering quality with only 4 input images. We first introduce techniques of visual hull and floater elimination, which explicitly inject structure priors into the initial optimization process to help build multi-view consistency, yielding a coarse 3D Gaussian representation. Then we construct a Gaussian repair model based on diffusion models to supplement the omitted object information, where Gaussians are further refined. We design a self-generating strategy to obtain image pairs for training the repair model. We further design a COLMAP-free variant, where pre-given accurate camera poses are not required, which achieves competitive quality and facilitates wider applications. GaussianObject is evaluated on several challenging datasets, including MipNeRF360, OmniObject3D, OpenIllumination, and our-collected unposed images, achieving superior performance from only four views and significantly outperforming previous SOTA methods. Our demo is available at https://gaussianobject.github.io/, and the code has been released at https://github.com/GaussianObject/GaussianObject.

研究の動機と目的

• 極めてスパースな入力（特に4枚の画像）からの高品質な3Dオブジェクト再構築の課題に対処すること。
• 限られた入力で学習を行う際のマルチビュー一貫性を向上させ、過学習や断片的な表現を回避すること。
• スパースな撮影による視野カバレッジ不足に起因する欠損または重度に圧縮されたオブジェクト幾何構造の回復。
• 構造の事前知識を組み込んだ高速で明示的かつ微分可能な3D表現としての3Dガウススプラッティングの活用。
• 自己生成された画像ペアを用いて腐敗したレンダリングアーチファクトを修復する拡散ベースの修復モデルの開発。

提案手法

• 初期の3Dガウス表現は、オブジェクトの輪郭内にガウスを制約する視覚ハルを用いて構築され、幾何的一致性が保証される。
• 最適化の過程でフラーター除去が適用され、オブジェクト表面に属さない外れ値のガウスを削除する。
• 拡散ベースの修復モデルの学習に向け、自己生成戦略によりペaired画像を生成する。これには、1枚省略レンダリングと3Dガウスノイズの注入を含む。
• 拡散モデルは、低精度で腐敗したレンダリング画像を高精度なバージョンに変換し、その後、3Dガウス表現の精錬に使用する。
• 修復モデルは3Dガウス最適化とエンドツーエンドで学習され、フィードバックによって反復的にレンダリング品質が向上する。
• 構造に配慮した初期化と生成的修復を統合することで、わずか4視点からの高精細3D再構築を実現するフレームワークが構築された。

実験結果

リサーチクエスチョン

• RQ1 4枚の入力画像でのみ、3Dガウススプラッティングにおいてマルチビュー一貫性を効果的に確立できるか？
• RQ2 視野カバレッジが限られている場合に、欠損または重度に圧縮されたオブジェクト幾何構造をどのように回復できるか？
• RQ3 拡散モデルを、腐敗した3Dレンダリング画像を3Dガウス表現の精錬に適応して使用できるか？
• RQ4 ペaired実データが存在しない状況で、効果的な修復モデルの学習を可能にする自己教師付きデータ生成戦略は何か？
• RQ5 構造的事前知識と生成的修復を統合することで、スパースビューベンチマークにおいてSOTA手法に比べ優れた3D再構築品質が得られるか？

主な発見

• GaussianObjectは、MipNeRF360、OmniObject3D、OpenIlluminationで、わずか4枚の入力ビューでの最先端の性能を達成した。
• OpenIlluminationの'cake'シーンにおいて4ビューで、PSNR 28.58、SSIM 0.9613を達成し、ZeroRF（PSNR: 29.44、SSIM: 0.9650）や他のSOTA手法を上回った。
• OpenIlluminationの'pine'オブジェクトにおいて、PSNR 21.68、LPIPS 0.0761を達成し、3DGS（PSNR: 10.07、LPIPS: 0.3038）を顕著に上回った。
• 挑戦的なシーン（'shroom'や'cow'）において、LPIPSを3DGSに比べ最大40%、DietNeRFに比べ30%低減した。
• 修復モデルの学習に用いた自己生成戦略により、アーチファクトの効果的な除去が可能となり、全テストデータセットでPSNRとSSIMが向上した。
• 定性的な結果から、GaussianObjectは4枚のビューからのみでも一貫性があり、詳細かつ視覚的に妥当な3D再構築を生成でき、最小限のアーチファクトと高い幾何的忠実度を実現した。