[論文レビュー] Segmenting 3D Hybrid Scenes via Zero-Shot Learning.

Bo Liu, Shuang Deng+2 more|arXiv (Cornell University)|Jul 1, 2021

3D Shape Modeling and Analysis参考文献 24被引用数 4

ひとこと要約

本論文は、見たことのない3次元オブジェクトクラスの点特徴を、既知クラスと未知クラスの間の意味的関係を活用することで合成するGANベースのゼロショット学習フレームワーク、PFNetを提案する。これにより、ハイブリッド3次元シーンにおける正確なセマンティックセグメンテーションが可能になる。本手法は、S3DISおよびScanNetから新たに導入された2つのベンチマークで最先端の性能を達成し、ゼロショット3次元シーン理解の有効性を示している。

ABSTRACT

This work is to tackle the problem of point cloud semantic segmentation for 3D hybrid scenes under the framework of zero-shot learning. Here by hybrid, we mean the scene consists of both seen-class and unseen-class 3D objects, a more general and realistic setting in application. To our knowledge, this problem has not been explored in the literature. To this end, we propose a network to synthesize point features for various classes of objects by leveraging the semantic features of both seen and unseen object classes, called PFNet. The proposed PFNet employs a GAN architecture to synthesize point features, where the semantic relationship between seen-class and unseen-class features is consolidated by adapting a new semantic regularizer, and the synthesized features are used to train a classifier for predicting the labels of the testing 3D scene points. Besides we also introduce two benchmarks for algorithmic evaluation by re-organizing the public S3DIS and ScanNet datasets under six different data splits. Experimental results on the two benchmarks validate our proposed method, and we hope our introduced two benchmarks and methodology could be of help for more research on this new direction.

研究の動機と目的

• 3次元ハイブリッドシーンにおけるセマンティックセグメンテーションに関する研究が不足しているという問題に対処する。ここでのシーンには、既知クラスと未知クラスの両方のオブジェクトが含まれる。
• 現実的で混合シーン環境における、未知の3次元オブジェクトクラスへのゼロショット一般化を可能にする。
• 既知クラスからの意味的埋め込みを用いて、未知クラスのための点特徴を合成する手法を開発する。
• S3DISおよびScanNetに基づき、6つの異なるデータ分割を含む2つの新しい評価ベンチマークを導入し、今後の研究を標準化する。

提案手法

• 既知クラスからの意味的埋め込みを用いて、未知の3次元オブジェクトクラスの合成点特徴を生成するGANアーキテクチャ、PFNetを提案する。
• 既知クラスと未知クラスの特徴の間の意味的関係をモデル化・統合するための新しい意味的正則化子を組み込む。
• 推論時に3次元シーンの点のセマンティックラベルを予測するために、合成された特徴を用いて分類器を訓練する。
• 生成器ネットワークの条件入力として、既知クラスおよび未知クラスの両方の意味的埋め込みを活用する。
• 合成された点特徴の現実性と識別可能性を保証するために、ディスクライマネータを活用する。
• 公開されているS3DISおよびScanNetデータセットを再編成し、ゼロショット3次元セグメンテーション評価のための2つの新しいベンチマークを構築する6つの異なるデータ分割を生成する。

実験結果

リサーチクエスチョン

• RQ1 ゼロショット学習フレームワークは、既知クラスと未知クラスの両方を含むハイブリッドシーンにおいて、未知の3次元オブジェクトクラスに効果的に一般化できるか？
• RQ2 提案された意味的正則化子は、既知クラスと未知クラスの3次元オブジェクト間のクロスクラス意味的関係をどの程度効果的に捉えられるか？
• RQ3 合成された点特徴生成は、ゼロショット3次元シーン理解におけるセマンティックセグメンテーション精度をどの程度向上させるか？
• RQ4 提案されたベンチマークは、異なるデータ分割においてゼロショット3次元セグメンテーションモデルの評価にどの程度頑健か？

主な発見

• 提案されたPFNetは、S3DISおよびScanNetから新たに導入された2つのベンチマークで最先端の性能を達成した。
• 意味的正則化子の統合により、合成された点特徴の品質と下流のセグメンテーション精度が顕著に向上した。
• 本手法は、ハイブリッドシーンにおける未知の3次元オブジェクトクラスへの一般化に成功し、効果的なゼロショット一般化を示した。
• 6つのデータ分割を含む2つの新しいベンチマークは、今後のゼロショット3次元セグメンテーション研究のための標準的で厳密な評価プロトコルを提供する。