[論文レビュー] LidarMultiNet: Towards a Unified Multi-Task Network for LiDAR Perception

Dongqiangzi Ye, Zixiang Zhou+5 more|arXiv (Cornell University)|Sep 19, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

LidarMultiNet は、グローバルコンテキストプーリング（GCP）モジュールで強化された共有ボクセルベースのエンコーダーデコーダーバックボーンを用いて、3次元オブジェクト検出、セマンティックセグメンテーション、パノプティックセグメンテーションを統合的に実行するエンドツーエンドの3次元LiDAR認識ネットワークを提案する。5つの主要ベンチマークで最先端の性能を達成し、Waymo 2022 3次元セマンティックセグメンテーションチャレンジで1位を獲得（mIoU 82.0）、nuScenesおよびWaymoの検出ベンチマークでも新SOTAを達成した。

ABSTRACT

LiDAR-based 3D object detection, semantic segmentation, and panoptic segmentation are usually implemented in specialized networks with distinctive architectures that are difficult to adapt to each other. This paper presents LidarMultiNet, a LiDAR-based multi-task network that unifies these three major LiDAR perception tasks. Among its many benefits, a multi-task network can reduce the overall cost by sharing weights and computation among multiple tasks. However, it typically underperforms compared to independently combined single-task models. The proposed LidarMultiNet aims to bridge the performance gap between the multi-task network and multiple single-task networks. At the core of LidarMultiNet is a strong 3D voxel-based encoder-decoder architecture with a Global Context Pooling (GCP) module extracting global contextual features from a LiDAR frame. Task-specific heads are added on top of the network to perform the three LiDAR perception tasks. More tasks can be implemented simply by adding new task-specific heads while introducing little additional cost. A second stage is also proposed to refine the first-stage segmentation and generate accurate panoptic segmentation results. LidarMultiNet is extensively tested on both Waymo Open Dataset and nuScenes dataset, demonstrating for the first time that major LiDAR perception tasks can be unified in a single strong network that is trained end-to-end and achieves state-of-the-art performance. Notably, LidarMultiNet reaches the official 1st place in the Waymo Open Dataset 3D semantic segmentation challenge 2022 with the highest mIoU and the best accuracy for most of the 22 classes on the test set, using only LiDAR points as input. It also sets the new state-of-the-art for a single model on the Waymo 3D object detection benchmark and three nuScenes benchmarks.

研究の動機と目的

• 3次元オブジェクト検出、セマンティックセグメンテーション、パノプティックセグメンテーションの3つの主要なLiDAR認識タスクを、計算コストを低減し効率を向上させるために、1つのマルチタスクネットワークに統合すること。
• LiDAR認識におけるマルチタスクネットワークと専用のシングルタスクモデルとの性能格差を、グローバル特徴学習とタスクの協調性を向上させることで是正すること。
• 軽量なタスク固有のヘッドを追加することで、新しい認識タスクへの拡張性を実現し、計算オーバーヘッドを最小限に抑えること。
• LiDAR入力のみを用いて、Waymo Open Dataset や nuScenes などの大規模ベンチマークで最先端の性能を達成すること。
• 複数のタスク間での共同学習が、特に2段階のリファインメントプロセスを通じて、特徴表現とセグメンテーション精度を向上させることを示すこと。

提案手法

• LiDARポイントクラウドを効率的に処理するため、サブマニフォールドおよび通常のスパース畳み込みを用いた3次元ボクセルベースのエンコーダーデコーダー・アーキテクチャを採用する。
• スパース3次元テンソル全体にわたるグローバルコンテキスト特徴を集約するグローバルコンテキストプーリング（GCP）モジュールを導入し、長距離依存性の学習を強化する。
• 共有バックボーンの上に、3次元オブジェクト検出、セマンティックセグメンテーション、パノプティックセグメンテーション用のタスク固有のヘッドを配置する。
• 2段階のリファインメントメカニズムを適用する：第1段階で初期予測を生成し、第2段階で前方景況のセマンティックセグメンテーションをリファインして正確なパノプティック結果を得る。
• 性能を向上させるために、テスト時増強（TTA）を実装し、幾何変換（反転、回転、スケーリング、平行移動）と7つのバリアントを用いたモデルアンサンブルを適用する。
• すべてのタスク間で共同最適化を実行し、エンドツーエンドでネットワーク全体を訓練することで、共有特徴を活用して一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 LiDAR入力のみを用いて、3次元オブジェクト検出、セマンティックセグメンテーション、パノプティックセグメンテーションの3つのタスクを統合したマルチタスクネットワークが、最先端の性能を達成できるか？
• RQ2 グローバルコンテキストプーリング（GCP）モジュールの統合は、LiDAR認識のためのスパース3次元畳み込みネットワークにおける特徴表現をどのように向上させるか？
• RQ3 パノプティックヘッドを専用に設けずに、2段階のリファインメントプロセスが、パノプティックセグメンテーションの精度をどの程度向上させられるか？
• RQ4 複数の認識タスク間での共同学習は、シングルタスクモデルと比較して、特にmIoUおよびPQ指標の観点から、より高い性能を発揮するか？
• RQ5 マルチタスクネットワークは、精度と推論速度の両面でシングルタスクモデルを上回りながら、高い効率性を維持できるか？

主な発見

• LidarMultiNet は、Waymo Open Dataset 2022 年度の3次元セマンティックセグメンテーションチャレンジで公式1位を獲得し、LiDAR入力のみでテストセットにおいてmIoU 82.0を達成した。
• Waymo 3次元オブジェクト検出ベンチマークにおいて、LidarMultiNet は単一モデルとして最高のmAPH L2スコアを記録し、新SOTAを樹立した。
• nuScenes データセットにおいて、LidarMultiNet は3次元セマンティックセグメンテーションおよびパノプティックセグメンテーションの両方で、以前のSOTA手法を上回る新SOTA結果を達成した。
• 第2段階のリファインメントモジュールにより、nuScenes 検証セットにおけるmIoUは81.7から82.0へ、PQは81.2から81.8へ向上し、その有効性が実証された。
• A100 GPUを用いた場合、nuScenes では第1段階の推論時間が126ms、Waymo では145msを記録し、モデルサイズは合計135MBと、高い効率性を示した。
• テスト時増強と7つのモデルのアンサンブルを適用することで、さらに性能が向上し、アーキテクチャのロバスト性とスケーラビリティが確認された。