[論文レビュー] Point-Cloud Completion with Pretrained Text-to-image Diffusion Models

Yoni Kasten, Ohad Rahamim+1 more|arXiv (Cornell University)|Jun 18, 2023

3D Shape Modeling and Analysis被引用数 5

ひとこと要約

本稿では、事前学習済みのテキストto画像拡散モデルを活用し、テキスト記述と符号付き距離関数（SDF）制約を用いて不完全な3Dポイントクラウドを補完する、テスト時最適化手法であるSDS-Completeを提案する。入力ポイントクラウドとテキストプロンプトの両方に整合するように、新規の視点レンダリングを最適化することで、分布外（OOD）オブジェクトにおいて最先端の性能を達成し、従来手法と比較して平均でChamfer損失を50%低減した。

ABSTRACT

Point-cloud data collected in real-world applications are often incomplete. Data is typically missing due to objects being observed from partial viewpoints, which only capture a specific perspective or angle. Additionally, data can be incomplete due to occlusion and low-resolution sampling. Existing completion approaches rely on datasets of predefined objects to guide the completion of noisy and incomplete, point clouds. However, these approaches perform poorly when tested on Out-Of-Distribution (OOD) objects, that are poorly represented in the training dataset. Here we leverage recent advances in text-guided image generation, which lead to major breakthroughs in text-guided shape generation. We describe an approach called SDS-Complete that uses a pre-trained text-to-image diffusion model and leverages the text semantics of a given incomplete point cloud of an object, to obtain a complete surface representation. SDS-Complete can complete a variety of objects using test-time optimization without expensive collection of 3D information. We evaluate SDS Complete on incomplete scanned objects, captured by real-world depth sensors and LiDAR scanners. We find that it effectively reconstructs objects that are absent from common datasets, reducing Chamfer loss by 50% on average compared with current methods. Project page: https://sds-complete.github.io/

研究の動機と目的

• トレーニングデータに十分に表現されていない分布外（OOD）オブジェクトを処理できない既存のポイントクラウド補完手法の限界を克服すること。
• 大規模な3Dデータセットの収集を避け、事前学習済みの2D拡散モデルを活用することで、高品質な3D形状補完を実現すること。
• テキストto画像拡散モデルからの意味的プライアを、部分的ポイントクラウドからの幾何的制約と組み合わせることで、正確な表面再構築を実現すること。
• 深度カメラやLiDARを含む多様な実世界センサーに対応する統合フレームワークの開発。
• テスト時最適化によりSDS損失とSDF表現を用いることで、未観測のオブジェクトカテゴリの補完が一貫的かつ現実的に行えることを示すこと。

提案手法

• 事前学習済みのテキストto画像拡散モデルを用いて、3D形状補完のための画像プライアを生成する。
• 微調整や大規模な3Dデータセットを必要としないテスト時最適化問題として補完を定式化する。
• 符号付き距離関数（SDF）表面表現を用い、ゼロレベル集合が入力ポイントクラウドを通るようにすることで、幾何的整合性を保証する。
• 新規に戦略的にサンプリングされたカメラビューからレンダリングされた画像に、SDS損失を適用し、テキストプロンプトと拡散モデルのプライアに一致させる。
• 完成形状と観測された部分幾何との一貫性を向上させるために、カリキュラムベースのカメラサンプリング戦略を導入する。
• 最適化は、ポイントクラウド制約を満たしながらSDS損失を最小化するように、SDFを反復的に更新する。

実験結果

リサーチクエスチョン

• RQ1 微調整なしで、事前学習済みのテキストto画像拡散モデルを3Dポイントクラウド補完に効果的に活用できるか？
• RQ2 2D拡散モデルからの意味的プライアを、部分的ポイントクラウドからの3D幾何的制約とどのように組み合わせられるか？
• RQ3 SDS損失とSDF表現を用いたテスト時最適化が、分布外（OOD）オブジェクトにおいて既存手法を上回る性能を示せるか？
• RQ4 カメラサンプリング戦略の選択が、完成形状の一貫性と品質にどのように影響するか？
• RQ5 深度カメラやLiDARなどの多様な実世界スキャンに対し、再トレーニングなしで一般化可能か？

主な発見

• SDS-Completeは、OODオブジェクトにおいて平均でChamfer損失を50%低減し、優れた一般化性能を示した。
• Redwoodデータセットでは、SDS-Completeの平均Chamfer損失は30.5であり、PoinTr（59.0）やShapeFormer（59.0）を大きく上回った。
• 分布内オブジェクトではSOTA手法と同等の性能を達成しており、なじみのあるカテゴリでは性能低下がないことを示した。
• アブレーションスタディでは、SDS損失を除去すると、椅子の脚や背もたれが欠落するなど、形状理解が著しく劣化することを確認し、SDS損失の重要性を示した。
• SDF表現はポイントクラウド制約を強制するために不可欠であり、密度関数などの代替手法を用いると性能が低下した。
• カリキュラムベースのカメラサンプリング戦略は、ランダムサンプリングに比べて完成品質を向上させ、観測幾何とより良い一貫性を実現した。