[論文レビュー] FRNet: Frustum-Range Networks for Scalable LiDAR Segmentation

Xiang Xu, Lingdong Kong+2 more|arXiv (Cornell University)|Dec 7, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

FRNetは、3次元点群特徴とそれに対応するレンジビューのフリスツム特徴を統合することで、2次元投影による情報損失を回復させることで、レンジビューLiDARセグメンテーションを向上させるフリスツムレンジネットワークを提案する。この手法は、高効率性を実現し、後処理を不要とし、複数のベンチマークで先行するレンジビュー手法を上回る最先端の性能を達成する。

ABSTRACT

LiDAR segmentation has become a crucial component of advanced autonomous driving systems. Recent range-view LiDAR segmentation approaches show promise for real-time processing. However, they inevitably suffer from corrupted contextual information and rely heavily on post-processing techniques for prediction refinement. In this work, we propose FRNet, a simple yet powerful method aimed at restoring the contextual information of range image pixels using corresponding frustum LiDAR points. First, a frustum feature encoder module is used to extract per-point features within the frustum region, which preserves scene consistency and is critical for point-level predictions. Next, a frustum-point fusion module is introduced to update per-point features hierarchically, enabling each point to extract more surrounding information through the frustum features. Finally, a head fusion module is used to fuse features at different levels for final semantic predictions. Extensive experiments conducted on four popular LiDAR segmentation benchmarks under various task setups demonstrate the superiority of FRNet. Notably, FRNet achieves 73.3% and 82.5% mIoU scores on the testing sets of SemanticKITTI and nuScenes. While achieving competitive performance, FRNet operates 5 times faster than state-of-the-art approaches. Such high efficiency opens up new possibilities for more scalable LiDAR segmentation. The code has been made publicly available at https://github.com/Xiangxu-0103/FRNet.

研究の動機と目的

• 3次元から2次元への投影に伴い生じる文脈情報の損失を是正すること。
• ラベルの最適化にための教師なし後処理技術（例：CRF や KNN）に依存しないようにすること。
• リアルタイム応用を想定した計算効率を維持しつつ、完全な3次元シーンの文脈を保持すること。
• 点レベルとレンジビュー特徴を効果的に統合するスケーラブルでエンドツーエンドのフレームワークを構築すること。

提案手法

• フリスツム特徴エンコーダは、同じフリスツム領域に属する3次元点群をグループ化し、多層パーセプトロンを用いて2次元レンジビュー特徴に変換する。
• フリスツム-点（FP）統合モジュールは、各ネットワーク段階でフリスツムから点、および点からフリスツムへの特徴統合を段階的に更新することで、各点の特徴を向上させる。
• 統合ヘッドモジュールは、複数レベルの特徴を統合して、各点の最終的な意味的予測を生成し、後処理を必要としないエンドツーエンド学習を可能にする。
• 独自のレンジ補間拡張法により、レンジ画像の空きピixcelに、周囲の投影点を用いて合成点を追加することで、スパarsityを低減する。
• モデルは点レベルの幾何的特徴と2次元レンジビュー表現の両方を活用することで、シーンの一貫性を保ち、特徴学習を向上させる。

Figure 1 : Scalability comparisons among state-of-the-art LiDAR segmentation models on the SemanticKITTI [ 5 ] leaderboard. The size of the circular represents the number of model parameters. Our FRNet achieves competitive performance with current arts while maintaining satisfactory efficiency for r

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドフリスツム-レンジネットワークは、3次元から2次元への投影に伴い失われる文脈情報を回復させることができるか？
• RQ2 点特徴とレンジビュー特徴をエンドツーエンドで統合することで、後処理に依存せずにセグメンテーション精度が向上するか？
• RQ3 提案手法は、標準ベンチマークで最先端の性能を達成しつつ、高い効率性を維持できるか？
• RQ4 提案されたレンジ補間拡張法は、空きピクセルの削減と特徴の一貫性向上にどの程度効果的か？

主な発見

• FRNetは、SemanticKITTIベンチマークで53.5%のmIoUを達成し、先行するレンジビュー手法を上回った。
• SemanticPOSSリーダーボードでは、FRNetが53.5%の最高mIoUを記録し、2番目に良い手法より0.4ポイント優れた。
• nuScenesバリデーションセットでは、FRNetが52.9%のmIoUを達成し、リアルタイム推論能力を維持したまま、トップクラスの性能を示した。
• アブレーションスタディの結果、FP統合モジュールが性能向上に顕著な貢献を示し、統合なしのベースライン比で3.2%のmIoU向上が確認された。
• レンジ補間拡張法により、空きピクセル密度が低下し、特徴の一貫性が向上し、SemanticKITTIで1.1%のmIoU向上が見られた。

Figure 2 : A pilot study on the performance degradation of post-processing in existing range-view methods [ 35 , 12 , 64 , 8 ] on SemanticKITTI [ 5 ] . We choose various $K$ values as hyperparameters in KNN post-processing. Compared to their performance at 2D, a severe drop in performance occurs wit