[論文レビュー] DRINet++: Efficient Voxel-as-point Point Cloud Segmentation

Maosheng Ye, Rui Wan+3 more|arXiv (Cornell University)|Nov 16, 2021

3D Shape Modeling and Analysis参考文献 59被引用数 16

ひとこと要約

DRINet++ は、1つのスパースボクセル表現内でスパarsity と幾何構造を活用するため、ボクセルをポイントとして扱う効率的なポイントクラウド意味セグメンテーションネットワークを提案する。スパース特徴エンコーダーとマルチスケールプロジェクションおよび注意メカニズムを用いたスパースジオメトリーフィーチャー強化を導入することで、SemanticKITTI および nuScenes で最先端の性能を達成し、推論時間は 59ms、従来手法比 30% のメモリ使用量削減を実現した。

ABSTRACT

Recently, many approaches have been proposed through single or multiple representations to improve the performance of point cloud semantic segmentation. However, these works do not maintain a good balance among performance, efficiency, and memory consumption. To address these issues, we propose DRINet++ that extends DRINet by enhancing the sparsity and geometric properties of a point cloud with a voxel-as-point principle. To improve efficiency and performance, DRINet++ mainly consists of two modules: Sparse Feature Encoder and Sparse Geometry Feature Enhancement. The Sparse Feature Encoder extracts the local context information for each point, and the Sparse Geometry Feature Enhancement enhances the geometric properties of a sparse point cloud via multi-scale sparse projection and attentive multi-scale fusion. In addition, we propose deep sparse supervision in the training phase to help convergence and alleviate the memory consumption problem. Our DRINet++ achieves state-of-the-art outdoor point cloud segmentation on both SemanticKITTI and Nuscenes datasets while running significantly faster and consuming less memory.

研究の動機と目的

• 自動運転のポイントクラウドセグメンテーションにおける性能、効率性、メモリ消費量のトレードオフを解消すること。
• 複数の表現を統合しない単一のスパースボクセル表現を 'ポイント' として扱うことで、スパarsity と幾何構造を完全に活用できるかを検証すること。
• メモリ使用量と学習コストを削減しながら、セグメンテーション精度を維持または向上させること。
• 大規模な屋外ポイントクラウドにスケーラブルな、軽量で効率的なアーキテクチャを開発すること。

提案手法

• DRINet++ はボクセルをポイントとして扱うことで、スパースボクセル表現上でポイントワイドな演算を可能にし、メモリと計算量を削減する。
• ボクセルポイントからの局所的コンテキスト特徴を抽出するため、スパース特徴エンコーダー（SFE）を導入する。
• 階層的な幾何的特徴学習のため、マルチスケールスパースプロジェクションを用いたスパースジオメトリーフィーチャー強化（SGFE）モジュールを提案する。
• マルチスケール特徴を効果的に統合するため、注意メカニズムを用いたアテンショナルマルチスケールフィュージョン（AMF）レイヤーを導入する。
• 学習段階でディープスパース監視を適用することで、メモリ消費量を削減し、収束を加速する。
• SFE と SGFE モジュール間で反復的な特徴精錬を実施することで、最小限のオーバーヘッドで特徴学習を向上させる。

実験結果

リサーチクエスチョン

• RQ1 単一のスパース表現においてボクセルをポイントとして扱うことで、複数表現統合手法と比較して、より優れた性能と効率性を達成できるか？
• RQ2 ボクセルをポイントとして扱う原則は、大規模ポイントクラウドセグメンテーションにおけるメモリ消費量と推論速度にどのように影響するか？
• RQ3 マルチスケールスパースプロジェクションと注意フィュージョンは、スパースポイントクラウドにおける幾何的特徴学習をどの程度向上できるか？
• RQ4 ディープスパース監視は、モデルの収束性や精度を劣化させることなく、メモリ使用量を顕著に削減できるか？

主な発見

• DRINet++ は SemanticKITTI の検証セットで 71.0% の mIoU を達成し、DRINet や SPVCNN などの最先端手法を上回った。
• NVIDIA RTX 2080Ti では 1 フレームあたり 59ms の推論速度を達成し、高い推論効率を示した。
• ボクセルをポイントとして扱う（VAP）設計により、非 VAP ベースライン比で約 30% のメモリ使用量削減が達成され、mIoU の低下はたった 0.2% にとどまった。
• ディープスパース監視により、メモリフットプリントが 1.4GB（密度監視の 552MB と比較）まで削減され、より大きなバッチサイズと高速な学習が可能になった。
• アブレーションスタディでは、アテンショナルマルチスケールフィュージョン（AMF）レイヤーがテンソルの和算より 2.0%、連結より 1.2% の mIoU 向上を達成した。
• SPVCNN や DRINet などの他のモデルに対しても、ディープスパース監視を適用することで、追加の推論コストなしに mIoU を最大 2.0% 向上させた。