[論文レビュー] Contrastive Boundary Learning for Point Cloud Segmentation

Liyao Tang, Yibing Zhan+3 more|arXiv (Cornell University)|Mar 10, 2022

3D Surveying and Cultural Heritage被引用数 10

ひとこと要約

本稿では、マルチスケールの対照的最適化を用いてシーン境界における特徴の識別性を向上させることで、3次元点群セグメンテーションを強化する新しいフレームワーク、対照的境界学習（CBL）を提案する。CBLは、複数のベースラインおよびデータセットにおいて、境界および全体のセグメンテーション性能に一貫した向上をもたらし、Semantic3DおよびS3DISで最先端の結果を達成している。

ABSTRACT

Point cloud segmentation is fundamental in understanding 3D environments. However, current 3D point cloud segmentation methods usually perform poorly on scene boundaries, which degenerates the overall segmentation performance. In this paper, we focus on the segmentation of scene boundaries. Accordingly, we first explore metrics to evaluate the segmentation performance on scene boundaries. To address the unsatisfactory performance on boundaries, we then propose a novel contrastive boundary learning (CBL) framework for point cloud segmentation. Specifically, the proposed CBL enhances feature discrimination between points across boundaries by contrasting their representations with the assistance of scene contexts at multiple scales. By applying CBL on three different baseline methods, we experimentally show that CBL consistently improves different baselines and assists them to achieve compelling performance on boundaries, as well as the overall performance, eg in mIoU. The experimental results demonstrate the effectiveness of our method and the importance of boundaries for 3D point cloud segmentation. Code and model will be made publicly available at https://github.com/LiyaoTang/contrastBoundary.

研究の動機と目的

• 既存の3次元点群セグメンテーション手法がシーン境界で著しく低い性能を示す理由を調査・定量すること。
• 現在のメトリクスが境界固有のセグメンテーション精度を捉えておらず、境界関連の欠陥が低く評価されていることの特定。
• 明示的な境界の教師信号を必要とせず、境界領域における特徴表現およびセグメンテーション精度を明示的に向上させる新しいフレームワークの提案。
• 境界の整合性を最適化することで、多様なデータセットおよびアーキテクチャにおいて、境界および全体のセグメンテーション性能に一貫した向上が得られることの実証。

提案手法

• マルチスケールの文脈を用いて、シーン境界をはさんで点同士の特徴の識別性を最大化する対照的学習目的関数を導入。
• 点群の部分サンプリングを用いたサブシーン境界マイニングにより、複数の空間スケールで境界領域を同定。
• 部分サンプリングされた点群から得られる正例および負例ペairを用いて、境界点の特徴表現に対する対照的最適化を実施。
• アーキテクチャの変更なしに、既存の3次元セグメンテーションネットワーク（例：RandLA-Net、ConvNet）にCBLをプラグインモジュールとして統合。
• 異なる部分サンプリングレベルからの特徴を統合するマルチスケールヘッドを採用し、境界に注意を向けた表現学習を強化。
• 境界セグメンテーション品質を特に評価するために、mIoU@boundaryおよび境界IoU（B-IoU）を評価メトリクスとして活用。

実験結果

リサーチクエスチョン

• RQ1 現在の3次元点群セグメンテーション手法は、全体の性能と比較して、シーン境界ではどの程度の性能を示すのか？
• RQ2 mIoUのような標準的なメトリクスが、境界セグメンテーション精度の低さをどの程度反映していないのか？
• RQ3 明示的な境界アノテーションがなくても、対照的学習を3次元シーン境界における特徴の識別性向上に効果的に適応できるか？
• RQ4 境界の整合性を最適化することで、異なるモデルおよびデータセットにおいて、境界および全体のセグメンテーション性能に一貫した向上が得られるか？
• RQ5 マルチスケール特徴学習およびサブシーン境界マイニングが、全体の性能向上に果たす寄与度はどの程度か？

主な発見

• 現在の3次元セグメンテーション手法は、シーン境界で顕著に低い性能を示しており、mIoU@boundaryが全体のmIoUに比べて著しく低いことが判明し、境界理解のギャップが顕著である。
• CBLフレームワークを基本的なConvNetに適用した場合、ScanNetの検証セットにおいてmIoUが+1.27%、OAが+0.34%向上し、一貫した向上が確認された。
• S3DISデータセットでは、CBLを用いた基本的なConvNetが70.5%のmIoUを達成し、より複雑なモデル（BA-GEMやJSENet）を上回った。
• Semantic3Dデータセットでは、CBLによりRandLA-Netが78.4%のmIoUという、新たな最先端の結果を達成し、先行手法を上回った。
• アブレーションスタディの結果、サブシーン境界マイニングおよびマルチスケール特徴学習が性能向上に不可欠であることが確認され、マルチスケールヘッドを組み合わせたCBLはmIoUが+1.62%向上した。
• CBLはS3DIS、ScanNet、NPM3D、Semantic3Dといった多様なデータセットおよびベースラインにおいて一貫して性能を向上させ、汎用性およびロバスト性を確認した。