[論文レビュー] Small but Mighty: Enhancing 3D Point Clouds Semantic Segmentation with U-Next Framework

Ziyin Zeng, Qingyong Hu+3 more|arXiv (Cornell University)|Apr 3, 2023

3D Shape Modeling and Analysis参考文献 83被引用数 4

ひとこと要約

本稿では、U-Nextを提案する。これは、3次元点群の意味的セグメンテーションを向上させるために、複数のU-Net $L^1$サブネットワークをネスト構造で密接に接続して積み重ねることで、意味的ギャップを最小限に抑える、新しい軽量なフレームワークである。マルチスケール特徴の統合とマルチレベルのディープスーパービジョンを適用することで、S3DIS、Toronto3D、SensatUrbanの3つのベンチマークで最先端の性能を達成し、S3DIS Area 5では68.3%のmIoUを達成した。これは、U-Net や U-Net++ よりも一貫した向上を示している。

ABSTRACT

We study the problem of semantic segmentation of large-scale 3D point clouds. In recent years, significant research efforts have been directed toward local feature aggregation, improved loss functions and sampling strategies. While the fundamental framework of point cloud semantic segmentation has been largely overlooked, with most existing approaches rely on the U-Net architecture by default. In this paper, we propose U-Next, a small but mighty framework designed for point cloud semantic segmentation. The key to this framework is to learn multi-scale hierarchical representations from semantically similar feature maps. Specifically, we build our U-Next by stacking multiple U-Net $L^1$ codecs in a nested and densely arranged manner to minimize the semantic gap, while simultaneously fusing the feature maps across scales to effectively recover the fine-grained details. We also devised a multi-level deep supervision mechanism to further smooth gradient propagation and facilitate network optimization. Extensive experiments conducted on three large-scale benchmarks including S3DIS, Toronto3D, and SensatUrban demonstrate the superiority and the effectiveness of the proposed U-Next architecture. Our U-Next architecture shows consistent and visible performance improvements across different tasks and baseline models, indicating its great potential to serve as a general framework for future research.

研究の動機と目的

• 既存のU-Netベースのフレームワークが3次元点群セグメンテーションにおいて抱える、エンコーダーとデコーダーの特徴間の意味的ギャップの制限を解消すること。
• 標準的なU-Netアーキテクチャにおける過剰なダウンサンプリングとアップサンプリングによるノイズの蓄積を軽減すること。
• スケール間の意味的差異を最小限に抑えることで、特徴の統合と最適化を向上させること。
• 大規模な3次元点群セグメンテーションに適した汎用的で効果的かつ軽量なフレームワークの開発

提案手法

• U-Nextは、1回のダウンサンプリングと1回のアップサンプリングのみを実行する複数のU-Net $L^1$サブネットワークを積み重ねることで、意味的ギャップとノイズを最小限に抑える。
• ネスト構造で密接に配置されたアーキテクチャを採用することで、スケール間で繰り返し階層的な特徴の統合を可能にする。
• 各デコーダーのノードにマルチレベルのディープスーパービジョンを適用し、学習の安定化と勾配の流れの改善を図る。
• 各$L^1$サブネットワークの対応するエンコーダー層とデコーダー層の間に長距離スキップ接続を設けることで、空間的および意味的整合性を保持する。
• 異なるスケールからの特徴マップを連結と畳み込み演算によって統合し、細粒度の詳細を回復する。
• 過学習と計算コストの増加を避けるために、密なスキップ接続を避けて、より単純で効果的な長距離スキップ接続を採用する。

Figure 1 : Performance of various algorithms on S3DIS dataset (Area 5) with different frameworks. Our U-Next framework demonstrated a notable advantage over both U-Net and U-Net++.

実験結果

リサーチクエスチョン

• RQ1 簡素化されたU-Net $L^1$サブネットワークを効果的に積み重ねることで、3次元点群の意味的セグメンテーションが向上するか？
• RQ2 エンコーダーとデコーダーの特徴間の意味的ギャップを最小限に抑えることで、標準的なU-Net や U-Net++ よりも優れた性能が得られるか？
• RQ3 3次元セグメンテーションネットワークの最適化において、マルチレベルのディープスーパービジョンは、フル解像度またはラテラルスーパービジョンと比較してどのように優れているか？
• RQ4 提案されたネスト構造で階層的な統合メカニズムは、3次元点群セグメンテーションにおいて、密なスキップ接続よりも効果的か？
• RQ5 U-Nextは、S3DIS、Toronto3D、SensatUrbanのような多様な大規模3次元ベンチマークで汎用性を示せるか？

主な発見

• U-NextはS3DIS Area 5で68.3%のmIoUを達成し、ベースラインのRandLA-Netを上回り、U-Net や U-Net++ よりも一貫した向上を示した。
• アブレーションスタディの結果、フル解像度またはラテラルスーパービジョンのみを用いるのと比較して、マルチレベルのディープスーパービジョンがより優れた性能を発揮することが確認された。
• U-Nextにおける長距離スキップ接続の使用は、密なスキップ接続と同等の性能を発揮するが、パラメータ数が少なく、過学習のリスクも低減される。
• S3DIS、Toronto3D、SensatUrbanにおける可視化比較では、U-Nextがより鋭く正確な境界を生成し、レール、横断歩道、レールウェイなどの複雑な構造物に対しても優れた処理を示した。
• 点群の密度やオブジェクトの分布が異なる多様なデータセットにおいて、U-Nextは頑健性と汎用性を示した。
• 構造の複雑さを最小限に抑えながらも、最先端の性能を達成した。これは、最小限の意味的ギャップと効果的な特徴統合が、高精度を実現する鍵であることを示している。

Figure 2 : Illustration of the proposed U-Next and U-Net $L^{1}$ . (A) The detailed architecture of the proposed U-Next. (B) The U-Net $L^{1}$ sub-network with deep supervision. FC: Fully Connected layer; DP: Dropout; Deep Sup.: Deep Supervision.