[論文レビュー] Fine-grained Text and Image Guided Point Cloud Completion with CLIP Model

Wei Song, Jun Zhou+4 more|arXiv (Cornell University)|Aug 17, 2023

3D Surveying and Cultural HeritageEarth and Planetary Sciences被引用数 3

ひとこと要約

本稿では、細分化されたテキストおよび画像モダリティ情報の統合に、CLIPベースの視覚言語モデルを活用することで、3次元形状再構築を向上させる、新しいポイントクラウド補完フレームワークであるFTPNetを提案する。マルチステージ統合戦略と独自の細分化されたテキストコーパスを導入することで、XMFNetと比較してチェンファーディスタンスを19.68%低減し、Fスコアを5.78%低減する最先端の性能を達成した。

ABSTRACT

This paper focuses on the recently popular task of point cloud completion guided by multimodal information. Although existing methods have achieved excellent performance by fusing auxiliary images, there are still some deficiencies, including the poor generalization ability of the model and insufficient fine-grained semantic information for extracted features. In this work, we propose a novel multimodal fusion network for point cloud completion, which can simultaneously fuse visual and textual information to predict the semantic and geometric characteristics of incomplete shapes effectively. Specifically, to overcome the lack of prior information caused by the small-scale dataset, we employ a pre-trained vision-language model that is trained with a large amount of image-text pairs. Therefore, the textual and visual encoders of this large-scale model have stronger generalization ability. Then, we propose a multi-stage feature fusion strategy to fuse the textual and visual features into the backbone network progressively. Meanwhile, to further explore the effectiveness of fine-grained text descriptions for point cloud completion, we also build a text corpus with fine-grained descriptions, which can provide richer geometric details for 3D shapes. The rich text descriptions can be used for training and evaluating our network. Extensive quantitative and qualitative experiments demonstrate the superior performance of our method compared to state-of-the-art point cloud completion networks.

研究の動機と目的

• 既存のマルチモーダルポイントクラウド補完手法における一般化能力の制限と、細分化された意味的理解の不足に取り組む。
• 豊富な細分化されたテキスト記述を補助的ガイダンスとして統合することで、3次元形状再構築を向上させる。
• 大規模な画像・テキストペアを用いて事前学習されたCLIPモデルを活用することで、マルチモーダル学習におけるデータ不足を克服する。
• 視覚的・言語的・幾何学的特徴を効果的に統合する、マルチステージ特徴統合戦略を設計する。
• テキスト誘導型補完モデルの学習と評価を支援するため、新しい多カテゴリ・細分化されたテキストコーパスを構築する。

提案手法

• 大規模な画像・テキストデータから強力な一般化能力を発揮する視覚的・言語的特徴を抽出するため、CLIPの視覚言語モデルを事前学習エンコーダとして活用する。
• 複数の段階でテキスト的・視覚的特徴をバックボーンネットワークに段階的に統合する、マルチステージ特徴統合戦略を提案する。
• 複数のカテゴリにわたる3次元オブジェクトに対して、幾何学的特徴を豊富に含む詳細な記述を自動生成する方法を設計する。
• 学習と評価のための、ペアドされた3次元ポイントクラウドと細分化されたテキスト記述を含む新しいデータセットiPC-Textを構築する。
• 画像特徴（CLIPから）とテキスト特徴（CLIPから）の2本のエンコーダアーキテクチャを採用し、モダリティ固有の表現をアライメントするためのクロスアテンション機構を導入する。
• 融合されたマルチモーダル特徴を用いて、不完全なポイントクラウドを段階的に精錬するプログレッシブリファインメントネットワークを適用し、構造的および幾何学的正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 細分化されたテキスト記述は、ポイントクラウド補完における不完全な3次元形状の意味的・幾何学的理解を顕著に向上させるか？
• RQ2 特に事前学習されたCLIPモデルを介して、画像とテキストのマルチモーダル統合は、一般化能力と再構築品質をどのように向上させるか？
• RQ3 深層学習パイプラインにおける視覚的・言語的・幾何学的特徴の最適な統合戦略は何か？
• RQ4 テキスト記述の豊かさと特異性は、再構築された3次元形状の品質にどの程度影響を与えるか？
• RQ5 自己教師ありで事前学習された視覚言語モデル（例：CLIP）は、リソースが限られた3次元補完タスクに知識を効果的に転送できるか？

主な発見

• 提案されたFTPNetは、最先端手法XMFNetと比較して、チェンファーディスタンスに19.68%の改善、Fスコアに5.78%の改善を達成した。
• iPC-Textデータセットは、CDとFスコアそれぞれで1.86%および0.48%の改善をもたらし、細分化されたテキスト記述の価値を示した。
• マルチステージ統合は、初期統合や後期統合よりも優れており、2段階統合戦略が、補完的情報を効果的に保持・統合することで最良の結果をもたらした。
• 豊富なテキスト記述は、ランプの支柱、いすの脚、テーブルの縁といった細かな幾何学的構造の回復において、再構築品質を顕著に向上させた。
• 誤解を招くまたは誤ったテキスト記述はモデル性能を低下させることから、モデルがテキスト入力の意味的整合性に強く依存していることが確認された。
• 手作業で作成された高精度なテキスト記述は、再構築精度をさらに向上させたことから、モデルが高品質な言語的監視から利益を享受できることを示した。