[論文レビュー] OneFormer3D: One Transformer for Unified Point Cloud Segmentation

Maxim Kolodiazhnyi, Анна Воронцова+2 more|arXiv (Cornell University)|Nov 24, 2023

3D Shape Modeling and Analysis被引用数 9

ひとこと要約

OneFormer3Dは、3D点群のセマンティック、インスタンス、パンオプティック分割を統一する単一のトランスフォーマーベースフレームワークを提案し、パンオプティックデータでエンドツーエンド学習を行い、ScanNet、ScanNet200、S3DISで最先端の結果を達成します。

ABSTRACT

Semantic, instance, and panoptic segmentation of 3D point clouds have been addressed using task-specific models of distinct design. Thereby, the similarity of all segmentation tasks and the implicit relationship between them have not been utilized effectively. This paper presents a unified, simple, and effective model addressing all these tasks jointly. The model, named OneFormer3D, performs instance and semantic segmentation consistently, using a group of learnable kernels, where each kernel is responsible for generating a mask for either an instance or a semantic category. These kernels are trained with a transformer-based decoder with unified instance and semantic queries passed as an input. Such a design enables training a model end-to-end in a single run, so that it achieves top performance on all three segmentation tasks simultaneously. Specifically, our OneFormer3D ranks 1st and sets a new state-of-the-art (+2.1 mAP50) in the ScanNet test leaderboard. We also demonstrate the state-of-the-art results in semantic, instance, and panoptic segmentation of ScanNet (+21 PQ), ScanNet200 (+3.8 mAP50), and S3DIS (+0.8 mIoU) datasets.

研究の動機と目的

• セマンティック、インスタンス、パンオプティックの3D分割が単一モデルで解決できることを示す。
• 意味情報とインスタンスクエリの両方を用いた統一マスク生成のためのクエリデコーダを導入する。
• トレーニングを安定化・高速化するためのクエリ選択と分離型マッチング戦略を開発する。
• パンオプティックデータでエンドツーエンド学習を行い、ScanNet、ScanNet200、S3DISで最先端性能を示す。

提案手法

• スパースな3D U-Netボトネットを用いて点ごとの特徴を抽出する。
• トランスフォーマーデコーダの計算量を削減するために柔軟なプーリング（スーパーポイントまたは体素）を適用する。
• 意味クエリとインスタンスクエリの両方を用いたトランスフォーマーデコーダを組み込み、マスクの学習核を生成する。
• スーパーポイントを直接グラウンドトゥルースオブジェクトに結びつけることでハンガリー法を回避する分離型マッチングスキームを採用する。
• インスタンス分類、マスクのBCEおよびDice損失、意味のBCE損失を含む結合損失で訓練する。

実験結果

リサーチクエスチョン

• RQ1 意味情報・インスタンス情報・パンオプティック分割を効果的に単一の統一モデルで解決できるか。
• RQ2 意味クエリとインスタンスクエリの共同学習はタスク固有モデルより3D分割性能を向上させるか。
• RQ3 クエリ選択と分離型マッチングは3Dトランスフォーマー分割の訓練を安定化させ精度を向上させるか。
• RQ4 OneFormer3Dを用いた場合、ScanNet、ScanNet200、S3DISでの最先端性能の向上はどの程度か。

主な発見

• ScanNet、ScanNet200、S3DISで3Dセマンティック、インスタンス、パンオプティック分割の最先端結果を達成。
• ScanNetの検証スプリットでは、OneFormer3Dがインスタンス・セマンティック・パンオプティックのタスクでトップスコアを達成し、SPFormerやMask3Dなどのベースラインを上回る。
• 従来のハンガリー法を置換する、線形時間の関連付けを持つ新しい分離型マッチングを実証。
• 単一モデルでの共同学習による顕著な利得を示し、セマンティックIoUの改善と堅牢なパンオプティック性能を実現。
• 事前学習（実データおよび合成データ）およびスーパーポイントプーリングの除去が性能に影響を与える可能性があり、大規模な事前学習で顕著な利得が得られる。