[論文レビュー] TripoSR: Fast 3D Object Reconstruction from a Single Image

Dmitry Tochilkin, David Pankratz+8 more|arXiv (Cornell University)|Mar 4, 2024

Advanced Neural Network Applications被引用数 11

ひとこと要約

TripoSR は、単一の画像から高品質なテクスチャ付き3Dメッシュを A100 GPU 上で 0.5 秒未満で再構成する、高速な順伝搬トランスフォーマー基盤のモデルで、オープンソース手法の中で最先端の結果を達成します。

ABSTRACT

This technical report introduces TripoSR, a 3D reconstruction model leveraging transformer architecture for fast feed-forward 3D generation, producing 3D mesh from a single image in under 0.5 seconds. Building upon the LRM network architecture, TripoSR integrates substantial improvements in data processing, model design, and training techniques. Evaluations on public datasets show that TripoSR exhibits superior performance, both quantitatively and qualitatively, compared to other open-source alternatives. Released under the MIT license, TripoSR is intended to empower researchers, developers, and creatives with the latest advancements in 3D generative AI.

研究の動機と目的

• 研究とアプリケーション展開のための単一画像からの高速・高精度な3D再構成を動機付ける。
• データ品質と多様性を高め、野外画像への一般化を改善する。
• メモリ効率が高く高忠実度のトリプラネ NeRF フレームワークを、堅牢なトレーニング戦略とともに開発する。
• MIT ライセンスの下でモデル、コード、デモをオープンソースで提供する。

提案手法

• LRM アーキテクチャをベースに、トランスフォーマー-based の画像エンコーダとトリプラネ NeRF デコーダを採用する。
• RGB 入力を潜在ベクトルへ投影するために DINOv1 から初期化された画像エンコーダを用いる。
• 品質とメモリのバランスを取るために 40 チャンネルのトリプラネベース NeRF を導入する。
• 浮遊物を減らし再構成の忠実度を高めるためにマスク損失を組み込む。
• 前景ディテールを強調するために 512x512 画像からの 128x128 クロップを用いた高解像度レンダリングパッチと重要度サンプリングで訓練する。
• 堅牢性を高めるため、固定カメラ条件付けの代わりに学習済みカメラパラメータでトリプラネ投影を条件付けする。

Figure 2 : We outperform SOTA methods for 3D reconstruction while achieving fast inference time. In the figure, F-Score with threshold 0.1 is averaged over GSO [ 6 ] and OmniObject3D [ 30 ] .

実験結果

リサーチクエスチョン

• RQ1 高速な順伝搬トランスフォーマー系モデルが単一画像から高忠実度の3D メッシュを生成できるか。
• RQ2 データキュレーションとレンダリングの改善、及びターゲット型アーキテクチャとトレーニングの調整が、オープンソース手法の中で最先端の再構成を生み出すか。
• RQ3 TripoSR は標準ベンチマークで、形状精度とテクスチャ品質の観点で既存ベースラインと比べてどう評価されるか。

主な発見

• GSO および OmniObject3D における順伝搬単一画像再構成法の中で、定量的なパフォーマンス（CD と F スコア）で最先端を達成。
• NVIDIA A100 GPU 上で単一画像から約 0.5 秒で 3D メッシュを推定。
• Chamfer Distance および F スコア指標の両方で、One-2-3-45、ZeroShape、TGS、OpenLRM などのベースラインを上回る。
• データ整備（Objaverse 由来データの活用、 Diverse レンダリング、トリプラネチャネル最適化、マスク損失、パッチベースの高解像度監督）と訓練手法の改善が、再構成品質と効率を総じて向上させる。
• 質感付きメッシュを生成し、競合手法と比べてディテールの整合性とテクスチャ忠実度が向上するという定性的結果を示す。

Figure 3 : Qualitative results. We compare TripoSR output meshes to other SOTA methods on GSO and OmniObject3D (first four columns are from GSO [ 6 ] , last two are from OmniObject3D [ 30 ] ). Our reconstructed 3D shapes and textures achieve significantly higher quality and better details than previ