[論文レビュー] Semantic Segmentation for Real Point Cloud Scenes via Bilateral Augmentation and Adaptive Fusion

Shi Qiu, Saeed Anwar+1 more|arXiv (Cornell University)|Mar 12, 2021

3D Shape Modeling and Analysis参考文献 51被引用数 22

ひとこと要約

本稿では、現実世界の大規模なポイントクラウドのセマンティックセグメンテーションのための新規なポイントベースのディーブラーニングネットワークを提案する。幾何学的およびセマンティック的ヒントを用いて局所的特徴表現を向上させるためのバイラテラルコンテキストブロックと、マルチスケール特徴を統合するためのアダプティブポイントレベル統合メカニズムを導入している。本手法は最先端の性能を達成し、SemanticKITTIで59.9%のmIoUを達成しており、平均交差率（mIoU）において先行手法を5.6%上回っている。

ABSTRACT

Given the prominence of current 3D sensors, a fine-grained analysis on the basic point cloud data is worthy of further investigation. Particularly, real point cloud scenes can intuitively capture complex surroundings in the real world, but due to 3D data's raw nature, it is very challenging for machine perception. In this work, we concentrate on the essential visual task, semantic segmentation, for large-scale point cloud data collected in reality. On the one hand, to reduce the ambiguity in nearby points, we augment their local context by fully utilizing both geometric and semantic features in a bilateral structure. On the other hand, we comprehensively interpret the distinctness of the points from multiple resolutions and represent the feature map following an adaptive fusion method at point-level for accurate semantic segmentation. Further, we provide specific ablation studies and intuitive visualizations to validate our key modules. By comparing with state-of-the-art networks on three different benchmarks, we demonstrate the effectiveness of our network.

研究の動機と目的

• 密に分布した現実世界のポイントクラウドにおける曖昧なポイント表現の課題に対処すること。
• 大規模なポイントクラウドセグメンテーションにおける特徴の重複を低減し、モデルの効率を向上させること。
• ポイントレベルでのマルチスケール特徴の統合により、グローバルコンテキストの理解を向上させること。
• 中間表現を経由せずに生のポイントクラウドを直接処理する、ロバストでエンドツーエンドのネットワークの開発。
• アブレーションおよび可視化研究を通じて、バイラテラル拡張とアダプティブ統合の有効性を検証すること。

提案手法

• 共有の近隣構造を用いて、局所的な幾何学的およびセマンティック特徴を同時に拡張するバイラテラルコンテキストブロックを導入する。
• バイラテラルオフセットと幾何的拡張損失を用いた頑健な集約プロセスを採用し、局所的コンテキスト表現を精緻化する。
• 異なる解像度の特徴を捉えるためにマルチスケールエンコーダ-デコーダアーキテクチャを用いる。
• マルチスケール特徴を組み合わせるためのアダプティブ統合モジュールを適用し、ポイント単位の注釈重みを学習することで表現品質を向上させる。
• グローバルコンテキストに基づいて特徴の重要度を動的に調整するためのスイーブ・アンド・エクスカイト機構を活用する。
• 局所的特徴のロバスト性を向上させるために、混合集約戦略としてマックスプールイングとミーンプールイングの両方を用いる。

実験結果

リサーチクエスチョン

• RQ1 幾何学的およびセマンティック的特徴のバイラテラル拡張は、現実のポイントクラウドシーンにおける局所的コンテキスト表現を向上させることができるか？
• RQ2 マルチスケール特徴のアダプティブでポイントレベルの統合は、固定またはグローバル統合戦略と比較して、より優れたセマンティックセグメンテーション性能をもたらすか？
• RQ3 本手法は、現実世界のベンチマーク（S3DIS、Semantic3D、SemanticKITTI）において、最先端モデルと比較して正確性と効率性の点で優れているか？
• RQ4 バイラテラルブロックおよびアダプティブ統合モジュールの各コンponentが全体の性能に果たす寄与度は何か？
• RQ5 本手法は、屋内および屋外環境を含む多様な現実世界のシーンに一般化可能か？

主な発見

• 提案されたネットワークは、SemanticKITTIベンチマークで59.9%のmIoUを達成し、先行する最先端手法をmIoUの平均交差率で5.6%上回った。
• 小型および細分化されたオブジェクト（車両、トラック、オートバイ乗り手など）においても優れた性能を発揮し、局所化の正確性が向上していることが示された。
• アブレーションスタディの結果、バイラテラルブロックにおける混合局所的集約（マックスプールイングとミーンプールイングの併用）が最良の性能を示し、ベースラインから2.1%のmIoU向上を達成した。
• アダプティブ統合モジュールは、単純な加算や連結と比較して、顕著に分類精度を向上させた。ポイントレベルでのアダプティブ統合が最高のmIoUを達成した。
• 推論速度（4.8スキャン/秒）とモデルの複雑さを維持したまま、実世界への展開に適した性能を示した。
• 可視化結果から、本手法は複雑なシーン境界や小さなオブジェクトを正しく同定している一方で、RandLA-Netのようなベースラインモデルはこうした領域を誤分類していることが明らかになった。