[論文レビュー] MaskRange: A Mask-classification Model for Range-view based LiDAR Segmentation

Yi Gu, Yuming Huang+2 more|arXiv (Cornell University)|Jun 24, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

MaskRangeは、範囲ビューLiDARセグメンテーションのための新しいマスク分類パラダイムを提案し、セマンティックおよびパノプティックセグメンテーションの統合アーキテクチャを活用することで、従来のピクセル単位分類手法を凌駕する。重み付け貼り付けドロップ（WPD）と呼ばれる新しいデータオーグメンテーション手法により、過学習、文脈依存性、クラス不均衡の問題を軽減し、25 FPSで動作する。SemanticKITTIにおけるセマンティックセグメンテーションで66.10 mIoU、パノプティックセグメンテーションで53.10 PQの最先端性能を達成した。

ABSTRACT

Range-view based LiDAR segmentation methods are attractive for practical applications due to their direct inheritance from efficient 2D CNN architectures. In literature, most range-view based methods follow the per-pixel classification paradigm. Recently, in the image segmentation domain, another paradigm formulates segmentation as a mask-classification problem and has achieved remarkable performance. This raises an interesting question: can the mask-classification paradigm benefit the range-view based LiDAR segmentation and achieve better performance than the counterpart per-pixel paradigm? To answer this question, we propose a unified mask-classification model, MaskRange, for the range-view based LiDAR semantic and panoptic segmentation. Along with the new paradigm, we also propose a novel data augmentation method to deal with overfitting, context-reliance, and class-imbalance problems. Extensive experiments are conducted on the SemanticKITTI benchmark. Among all published range-view based methods, our MaskRange achieves state-of-the-art performance with $66.10$ mIoU on semantic segmentation and promising results with $53.10$ PQ on panoptic segmentation with high efficiency. Our code will be released.

研究の動機と目的

• マスク分類パラダイム（画像セグメンテーションで成功した手法）が、範囲ビューLiDARセグメンテーションの性能向上に有効に転用できるかを調査すること。
• LiDARセグメンテーションにおける過学習、文脈依存性、クラス不均衡の課題を、新しいデータオーグメンテーション戦略によって解決すること。
• 追加の監視信号やハイパーパramータチューニングなしに、セマンティックおよびパノプティックセグメンテーションの両方をサポートする統合フレームワークを構築すること。
• 範囲ビューを主な例として用い、さまざまなLiDARデータ表現に一般化可能なマスク分類パラダイムの有効性を示すこと。

提案手法

• マスクフォーマーのメタアーキテクチャをLiDAR範囲ビューデータに適応し、ピクセル単位分類ではなく、マスク分類予測の集合としてセグメンテーションを定式化する。
• 過学習とクラス不均衡の軽減を目的とした、クラスおよび文脈に配慮した重み付けによるパッチ貼り付け手法「重み付け貼り付けドロップ（WPD）」を導入する。
• トレーニングサンプルの再バランスを図るための統合重み付きフォーカル損失を採用し、最適化の安定性と長尾クラスの性能向上を実現する。
• 改善されたトレーニングダイナミクス（DeepB）とデータ依存型アップサンプリング（DU）を用いて、特徴の精錬と予測精度を向上させる。
• トランスフォーマー・デコーダーを用いてグローバルな文脈を統合し、バックボーンにおける局所的文脈集約への依存度を低減する。
• 2D CNNの効率性を活用し、FLOPs（2.2 GFlops増加）と遅延（40 ms、25 FPS）を低く保つことで、推論効率を最適化する。

実験結果

リサーチクエスチョン

• RQ1 画像セグメンテーションで成功したマスク分類パラダイムが、範囲ビューLiDARセグメンテーションに効果的に転用可能であり、ピクセル単位分類を上回る性能を発揮できるか？
• RQ2 スパースなLiDARデータにおいて一般的な過学習、文脈依存性、クラス不均衡の問題を、マスク分類フレームワーク内でどのように軽減できるか？
• RQ3 タスク固有のヘッドチューニングやボクシングボックスの監視なしに、統合アーキテクチャがセマンティックおよびパノプティックセグメンテーションの両方で高い性能を達成できるか？
• RQ4 WPDのような新しいデータオーグメンテーション戦略が、スパースで長尾なLiDARセグメンテーションにおいて、一般化性能と性能をどの程度向上できるか？

主な発見

• MaskRangeは、範囲ビューベースの手法として、SemanticKITTIのセマンティックセグメンテーションベンチマークで66.10 mIoUを達成し、すべての公表済み手法の中で最高位となった。
• パノプティックセグメンテーションベンチマークでは53.10 PQを達成し、追加の監視なしに優れた一般化性能と耐性を示した。
• 提案された重み付け貼り付けドロップ（WPD）オーグメンテーションは、ベースラインに適用した際、mIoUを7.70%向上させ、Mix3DやInstance Pasteを大きく上回った。
• 単一のNVIDIA RTX 2080Tiで25 FPS（40 msの推論時間）で動作し、リアルタイムアプリケーションに適した高い効率性を示した。
• アブレーションスタディの結果、WPD、重み付きフォーカル損失、および改善されたディープサブビジョン（DeepB）の組み合わせが性能向上に不可欠であり、特にWPDが最大の寄与を示した。
• マスク分類アーキテクチャは、ピクセル単位ベースラインよりもWPDにより感受性が高く、WPDの利点をより効果的に活用できることを示した。