[論文レビュー] S3CNet: A Sparse Semantic Scene Completion Network for LiDAR Point Clouds

Ran Cheng, Christopher Agia+3 more|arXiv (Cornell University)|Dec 16, 2020

Robotics and Sensor-Based Localization参考文献 36被引用数 8

ひとこと要約

S3CNet は、幾何的プライアーやマルチビュー融合を活用して、スパースな LiDAR ポイントクラウド上で 3D の意味的シーンコンプリートと意味的セグメンテーションを同時に実行するスパース畳み込みニューラルネットワークであり、SemanticKITTI ベンチマークで最先端の性能を達成している。幾何的注意をもつ損失関数とスパーステンソル演算を用いることで、大規模な屋外シーンにおけるスパarsity や隠蔽を効果的に処理し、既存手法を上回る性能を発揮している。

ABSTRACT

With the increasing reliance of self-driving and similar robotic systems on robust 3D vision, the processing of LiDAR scans with deep convolutional neural networks has become a trend in academia and industry alike. Prior attempts on the challenging Semantic Scene Completion task - which entails the inference of dense 3D structure and associated semantic labels from "sparse" representations - have been, to a degree, successful in small indoor scenes when provided with dense point clouds or dense depth maps often fused with semantic segmentation maps from RGB images. However, the performance of these systems drop drastically when applied to large outdoor scenes characterized by dynamic and exponentially sparser conditions. Likewise, processing of the entire sparse volume becomes infeasible due to memory limitations and workarounds introduce computational inefficiency as practitioners are forced to divide the overall volume into multiple equal segments and infer on each individually, rendering real-time performance impossible. In this work, we formulate a method that subsumes the sparsity of large-scale environments and present S3CNet, a sparse convolution based neural network that predicts the semantically completed scene from a single, unified LiDAR point cloud. We show that our proposed method outperforms all counterparts on the 3D task, achieving state-of-the art results on the SemanticKITTI benchmark. Furthermore, we propose a 2D variant of S3CNet with a multi-view fusion strategy to complement our 3D network, providing robustness to occlusions and extreme sparsity in distant regions. We conduct experiments for the 2D semantic scene completion task and compare the results of our sparse 2D network against several leading LiDAR segmentation models adapted for bird's eye view segmentation on two open-source datasets.

研究の動機と目的

• メモリおよび計算制約のため、密度のあるネットワークが失敗する大規模でスパースな屋外 LiDAR スキャンにおける意味的シーンコンプリートの課題に対処すること。
• 自動運転シナリオにおけるスパarsity や極端な隠蔽を扱う際の、密度のある 3D や 2D 畳み込みネットワークの限界を克服すること。
• 単一のスパース LiDAR スキャンから、密度のある 3D オンラインと意味ラベルを同時に予測する統合的でエンドツーエンドで学習可能なフレームワークを開発すること。
• 2D のバリエーションとマルチビュー融合、空間的プロパゲーションを用いて、遠方や隠蔽領域の耐性を高めること。
• クラスの一貫性と予測の境界構造を向上させる幾何的注意の損失関数を導入すること。

提案手法

• Minkowski Engine を介してスパーステンソル演算を活用し、密度のないボリュームの列挙を回避することで、大規模なスパース 3D LiDAR ポイントクラウドを効率的に処理する。
• ポイントワイズの法線ベクトルと LiDAR に基づく反転 Truncated Signed Distance Function (fTSDF) を幾何的特徴として組み込み、空き領域、占有領域、隠蔽領域を区別する。
• 均一領域での一貫性ある予測と、物体境界での構造的出力を促進する、新規の幾何的注意セグメンテーション損失関数（$\mathcal{L}_{GA}$）を提案する。
• 遠方または隠蔽領域でのコンプリート性能を向上させるために、マルチビュー融合（MVF）と空間的プロパゲーションネットワーク（SPN）を組み合わせた S3CNet の 2D バリエーションを採用する。
• 一般化性と耐性を向上させるために、ランダムクロッピング、ドロップアウト、3D/2D 回転などのデータオーグメンテーションを適用する。
• mean IoU の最適化を改善するため、Lovasz-softmax とファーコンス損失を用いるが、アブレーション実験により、この設定ではファーコンス損失が重み付き交差エントロピーに優位性を示さないことが判明した。

実験結果

リサーチクエスチョン

• RQ1 スパースな 3D 畳み込みネットワークは、大規模な屋外環境における単一スパース LiDAR スキャンから意味的に密度の高い 3D シーンを効果的にコンプリートできるか？
• RQ2 法線や fTSDF といった幾何的プライアーや、スパースで隠蔽された領域における意味的コンプリートにどのように寄与するか？
• RQ3 マルチビュー融合と空間的プロパゲーションは、遠方または部分的に観測された領域でのコンプリート性能をどの程度向上させるか？
• RQ4 提案された幾何的注意損失関数は、標準的なセグメンテーション損失関数と比較して、IoU および構造的一致性の観点でどの程度優れているか？
• RQ5 マルチビュー融合を組み合わせた 2D バリエーションのネットワークは、2D ビルズアイビュー意味的シーンコンプリートタスクで競争力のある性能を達成できるか？

主な発見

• S3CNet は、SemanticKITTI のバリデーションセットで mean IoU 0.3308、コンプリート IoU 0.5712 を達成し、すべての先行手法を上回った。
• S3CNet の 2D バリエーションは、SemanticKITTI データセットで mean IoU 0.2789、コンプリート IoU 0.7032 を達成し、適応された最先端の LiDAR セグメンテーションモデルを上回った。
• アブレーションスタディにより、マルチビュー融合（MVF）モジュールを削除すると性能がベースラインレベルまで低下し、そのコンプリートにおける中心的役割が明確になった。
• 空間的プロパゲーションネットワーク（SPN）はセグメンテーションの mean IoU を顕著に向上させたが、MVF はコンプリート IoU により強い影響を及ぼしており、両者の補完的役割が示された。
• 幾何的注意損失（$\mathcal{L}_{GA}$）と Lovasz-softmax 損失は、mean IoU の向上が最も顕著で、特に Lovasz-softmax が一貫した向上を示した。
• 空間特徴や SR/デコードモジュールを削除すると、mean IoU とコンプリート IoU の両方で顕著な低下が見られ、幾何的推論とコンプリートにおけるその重要性が確認された。