[論文レビュー] Rethinking Range View Representation for LiDAR Segmentation

Lingdong Kong, Youquan Liu+7 more|arXiv (Cornell University)|Mar 9, 2023

Advanced Neural Network Applications被引用数 8

ひとこと要約

この論文は、Transformerベースのグローバルコンテキストを利用してレンジビュー学習の課題を克服するRangeFormerというレンジビューLiDAR分割フレームワークと、スケーラブルなSTRを提案し、SemanticKITTI、nuScenes、ScribbleKITTIで最先端の結果を達成します。

ABSTRACT

LiDAR segmentation is crucial for autonomous driving perception. Recent trends favor point- or voxel-based methods as they often yield better performance than the traditional range view representation. In this work, we unveil several key factors in building powerful range view models. We observe that the "many-to-one" mapping, semantic incoherence, and shape deformation are possible impediments against effective learning from range view projections. We present RangeFormer -- a full-cycle framework comprising novel designs across network architecture, data augmentation, and post-processing -- that better handles the learning and processing of LiDAR point clouds from the range view. We further introduce a Scalable Training from Range view (STR) strategy that trains on arbitrary low-resolution 2D range images, while still maintaining satisfactory 3D segmentation accuracy. We show that, for the first time, a range view method is able to surpass the point, voxel, and multi-view fusion counterparts in the competing LiDAR semantic and panoptic segmentation benchmarks, i.e., SemanticKITTI, nuScenes, and ScribbleKITTI.

研究の動機と目的

• レンジビュー投影における多対一マッピング、穴、形状変形を解決してレンジビューLiDAR分割の改善を動機づける。
• RangeFormerを開発し、レンジビュー格子上の自己注意を通じてグローバルコンテキストを捉え、軽量MLPヘッドでデコードする。
• レンジビューに特化したデータ拡張技術を導入し、一般化と性能を向上させる。
• アリシングを緩和しラベリングの一貫性を向上させる監視付き後処理戦略を提案する。
• 精度を損なうことなく高解像度レンジビューからのスケーラブルなトレーニングを可能にするSTRを提示する。

提案手法

• レンジビュー分割をseq2seq問題として定式化し、レンジ画像パッチ上で自己注意型Transformerブロックを適用する。
• Range Embedding Moduleを用いてレンジグリッド点を高次元埋め込みへ写像し、マルチスケール融合を伴うピラミッド状のTransformer段を通す。
• 単純なMLPヘッドと補助ヘッドでデコードして意味的予測を生成し、2D予測を3Dへ投影する。
• RangeAug：RangeMix、RangeUnion、RangePaste、RangeShift拡張をラスター化グリッド上で直接動作させる。
• RangePost：最終ラベリング前に多対一の衝突を緩和する監視付きサブクラウドベースの後処理を導入する。
• STRを提示：方位角ベースのビューにスキャンを分割し、それぞれを高い水平方向解像度でラスタライズし、ステップごとに1ビューで学習し、推論時に予測を融合して全スキャンを処理する。
• オプションとしてPanopticヘッド（Panoptic-RangeFormer）を拡張し、3Dインスタンスグルーピングと中心点を行う。

実験結果

リサーチクエスチョン

• RQ1 自己注意ベースのレンジビュー模型は、範囲ビューの多対一マッピング、穴、形状歪みなどの限界を克服する長距離依存性を捉えられるか。
• RQ2 レンジビュー特有の拡張と監視付き後処理は、従来のFCNベースのレンジビュー法より分割精度を改善するか。
• RQ3 高解像度レンジビューに対してSTRというスケーラブルなトレーニングパラダイムは、収束や精度を損なうことなく実現可能か。
• RQ4 レンジビュー手法は標準的なLiDAR分割ベンチマークで点群・ボクセル・融合ベースを凌駕するか。
• RQ5 RangeFormerの意味的およびパンオプティック分割ベンチマーク（SemanticKITTI、nuScenes、ScribbleKITTI）における性能影響は如何か。

主な発見

• RangeFormerはSemanticKITTIで73.3 mIoU、64.2% PQを達成し、従来のレンジビュー法および多くの融合ベース法を凌駕する。
• STRは高解像度レンジビューを高効率で学習可能にし、メモリを削減しつつ収束性と精度を維持する。
• RangeFormerはnuScenesとScribbleKITTIで堅牢な結果を示し、データが疎な場合や弱教師あり設定にも良く一般化することを示す。
• RangeFormerはSTRとともにSemanticKITTIの意味的・パンオプティック分割のいくつかの最先端手法を上回り、最近のボクセル・融合法より2倍〜5倍速い。
• RangeAugとRangePostはレンジビュー特有の課題とエイリアシングに対処することで堅牢な学習に寄与する。
• パンオプティック拡張（Panoptic-RangeFormer）は意味予測を前景マスクとして活用することで、2Dベースのインスタンスグルーピングによりインスタンス中心のセグメンテーションを改善する。