[論文レビュー] PLA: Language-Driven Open-Vocabulary 3D Scene Understanding

Runyu Ding, Jihan Yang+4 more|arXiv (Cornell University)|Nov 29, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文では、3次元シーンのオープンボリューム理解を実現する言語駆動型フレームワーク、PLAを提案する。このフレームワークは、視覚言語基礎モデルを活用して、3次元シーンのマルチビュー画像から意味的豊かなキャプションを生成する。階層的なポイント・キャプションペアを構築し、対照的学習を用いることで、未学習のカテゴリのゼロショット局在化および認識を可能にし、ScanNetおよびS3IDSデータセットにおいて、ベースライン比でhIoUが25.8%〜44.7%、hAP50が14.5%〜50.4%向上する。

ABSTRACT

Open-vocabulary scene understanding aims to localize and recognize unseen categories beyond the annotated label space. The recent breakthrough of 2D open-vocabulary perception is largely driven by Internet-scale paired image-text data with rich vocabulary concepts. However, this success cannot be directly transferred to 3D scenarios due to the inaccessibility of large-scale 3D-text pairs. To this end, we propose to distill knowledge encoded in pre-trained vision-language (VL) foundation models through captioning multi-view images from 3D, which allows explicitly associating 3D and semantic-rich captions. Further, to foster coarse-to-fine visual-semantic representation learning from captions, we design hierarchical 3D-caption pairs, leveraging geometric constraints between 3D scenes and multi-view images. Finally, by employing contrastive learning, the model learns language-aware embeddings that connect 3D and text for open-vocabulary tasks. Our method not only remarkably outperforms baseline methods by 25.8% $\sim$ 44.7% hIoU and 14.5% $\sim$ 50.4% hAP$_{50}$ in open-vocabulary semantic and instance segmentation, but also shows robust transferability on challenging zero-shot domain transfer tasks. See the project website at https://dingry.github.io/projects/PLA.

研究の動機と目的

• 学習ラベル空間を超えて未学習の意味的カテゴリを認識できる、オープンボリューム3次元シーン理解の課題に対処すること。
• 2次元の視覚言語事前学習を3次元に直接適用するのを妨げる、大規模な3次元テキストペアの不足を克服すること。
• 現実世界の3次元シーンにおいて、同義語、抽象的概念、アノテーションのないオブジェクトを含む、新しいカテゴリへのゼロショット一般化を可能にすること。
• 事前学習済みの視覚言語モデルを活用して、3次元理解モデルに豊富な意味的知識を統合する汎用的でスケーラブルなフレームワークを開発すること。
• タスク固有のアーキテクチャ変更なしに、ドメイン内およびドメイン外のゼロショット転送ベンチマークで頑健な性能を達成すること。

提案手法

• GPT-ViT2 や OFA などの事前学習済み視覚言語基礎モデルを用い、3次元ポイントクラウドから投影されたマルチビュー画像から意味的豊かなキャプションを生成する。
• 3次元シーンとその2次元投影の間の幾何的制約を活用して、シーンレベル、ビュー レベル、エンティティ レベルの階層的ポイント・キャプションペアを構築する。
• 3次元ポイント特徴と対応するキャプション埋め込みを対照的に学習することで、言語に敏感な視覚的表現を学習する。
• 視覚的意味を捉えたより強固なテキスト埋め込みを抽出するために、CLIP などの視覚言語事前学習テキストエンコーダーを活用する。
• ニューラルレンダリングまたは既存の3次元データパイプラインを用いて、3次元ポイントクラウドと整合したマルチビューRGB画像を取得し、キャプション生成に用いる。
• 階層的なポイント・キャプションペア上で対照的損失を用いて3次元モデルをエンドツーエンドで訓練することで、ゼロショット一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 直接的な3次元テキストの監視なしに、事前学習済みの視覚言語モデルを有効活用して、3次元シーンの意味的豊かなキャプションを生成できるか？
• RQ2 3次元幾何に基づく階層的ポイント・キャプションペアは、3次元における粗いから細かい視覚的意味的表現学習をどのように向上させるか？
• RQ3 3次元言語ペアにおける対照的学習は、3次元シーン理解における未学習カテゴリのゼロショット認識をどの程度可能にするか？
• RQ4 提案されたフレームワークは、分布およびカテゴリのシフトを伴うドメイン外データセットにも一般化可能か？
• RQ5 基礎モデルが生成するキャプションの品質は、人間によるアノテーションまたはキュレートされたキャプションと比較して、下流の3次元理解性能にどの程度影響を与えるか？

主な発見

• PLAは、ScanNetおよびS3IDSデータセットにおいて、ベースライン手法比でオープンボリュームセマンティックセグメンテーションのhIoUが25.8%〜44.7%向上する。
• インスタンスセグメンテーションにおいて、PLAはベースライン比でhAP50を14.5%〜50.4%向上させ、新しいインスタンスへの一般化能力が優れていることを示している。
• モデルはゼロショットドメイン転送に対しても効果的に一般化でき、ScanNetで学習した後、S3IDSで高い性能を発揮する。これは、データ分布およびカテゴリのシフトに対しても有効であることを示している。
• CLIP をテキストエンコーダーとして使用した場合、BERT や GPT2 よりも新規カテゴリのmIoU_Nが7%以上高い。これは、視覚に適合したテキスト符号化の利点を裏付けている。
• OFA などの基礎モデルは GPT-ViT2 よりもキャプション生成で優れており、hIoUを最大0.3ポイント向上させる。これは、より優れたキャプションモデルがスケーラビリティを向上させることを示している。
• モデルは「sofa」の同義語である「couch」、抽象的概念である「bathroom」や「kitchen」、アノテーションのないオブジェクト（例：「monitor」や「blackboard」）を高品質なマスクで正しく認識している。