[論文レビュー] LidarMultiNet: Unifying LiDAR Semantic Segmentation, 3D Object Detection, and Panoptic Segmentation in a Single Multi-task Network

Dongqiangzi Ye, Weijia Chen+5 more|arXiv (Cornell University)|Jun 23, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

LidarMultiNetは、1つのエンドツーエンドで訓練可能なネットワーク内で、3次元LiDARのセマンティックセグメンテーション、3次元オブジェクト検出、パンタスティックセグメンテーションを統合的に実行する包括的な3次元LiDAR認識フレームワークを提案する。3次元スパース畳み込みベースのエンコーダーデコーダーに、新たなグローバルコンテキストプーリング（GCP）モジュールを採用し、グローバル特徴の学習を強化するとともに、精度向上のための2段階のリファインメントを組み込む。Waymo Open Datasetの3次元セマンティックセグメンテーションリーダーボードで71.13 mIoUを達成し、すべての手法の中で1位を獲得した。

ABSTRACT

This technical report presents the 1st place winning solution for the Waymo Open Dataset 3D semantic segmentation challenge 2022. Our network, termed LidarMultiNet, unifies the major LiDAR perception tasks such as 3D semantic segmentation, object detection, and panoptic segmentation in a single framework. At the core of LidarMultiNet is a strong 3D voxel-based encoder-decoder network with a novel Global Context Pooling (GCP) module extracting global contextual features from a LiDAR frame to complement its local features. An optional second stage is proposed to refine the first-stage segmentation or generate accurate panoptic segmentation results. Our solution achieves a mIoU of 71.13 and is the best for most of the 22 classes on the Waymo 3D semantic segmentation test set, outperforming all the other 3D semantic segmentation methods on the official leaderboard. We demonstrate for the first time that major LiDAR perception tasks can be unified in a single strong network that can be trained end-to-end.

研究の動機と目的

• 3次元セマンティックセグメンテーション、3次元オブジェクト検出、パンタスティックセグメンテーションというLiDAR認識の主要タスクを、1つのマルチタスクネットワークに統合すること。
• スパース畳み込みによる3次元ボクセルベースのネットワークにおいて、長距離コンテキストをうまく捉えることが難しいという課題を克服し、グローバル特徴表現を向上させること。
• 共有特徴を活用して複数の認識タスクをエンドツーエンドで訓練可能とし、タスク間の相乗効果を活かして性能を向上させること。
• 1つの強力なネットワークが、個別のタスクに特化したモデルを上回る性能を発揮できることを実証すること。

提案手法

• 0.1m × 0.1m × 0.15mの解像度で変換されたボクセルグリッドに変換されたLiDARポイントクラウドを処理する、3次元スパース畳み込みベースのエンコーダーデコーダーバックボーン。
• グローバルコンテキストプーリング（GCP）モジュールは、スパースボクセル特徴を密度のあるBEV表現に変換し、マルチスケール2次元畳み込みを用いてグローバルコンテキストを抽出することで、特徴学習を強化する。
• ビューアーの上から見た（BEV）セグメンテーションおよび3次元オブジェクト検出の補助ヘッドをBEV特徴マップに接続し、マルチタスクの監督を提供する。
• オプションの2段階リファインメントモジュールにより、1段階目の予測を精緻化するか、パンタスティックセグメンテーション出力を生成することで、セグメンテーション品質をさらに向上させる。
• 過去のLiDARフレームからのマルチスイープ入力を用いて、ポイントクラウドの密度を高め、特徴表現を改善する。
• データオーグメンテーションには、ランダムな反転、スケーリング、回転、平行移動が含まれ、車両のポーズ情報を利用して最大3フレームの時空間的統合が行われる。

実験結果

リサーチクエスチョン

• RQ1 1つのディープラーニングモデルが、LiDARポイントクラウドの3次元セマンティックセグメンテーション、3次元オブジェクト検出、パンタスティックセグメンテーションを効果的に統合できるか？
• RQ2 効率を損なわずに、スパースな3次元ボクセルベースのネットワークで、グローバルコンテキスト特徴を効果的に学習できるか？
• RQ3 複数の認識タスクを同時に学習させることで、個別に学習させる場合と比較して性能が向上するか？
• RQ4 2段階のリファインメント機構が、マルチタスク設定においてもセグメンテーションの正確性をさらに向上させられるか？

主な発見

• LidarMultiNetは、Waymo Open Datasetの3次元セマンティックセグメンテーションテストセットで71.13 mIoUを達成し、公式リーダーボードで1位を獲得した。
• 22のセマンティッククラスのうち15クラスで他のすべての手法を上回り、優れた一般化性能とクラス別精度を示した。
• アブレーションスタディの結果、マルチスイープ入力、GCP、補助損失、2段階リファインメントの各モジュールが性能向上に段階的に寄与しており、特に2段階モジュールで0.34 mIoUの向上が確認された。
• 推論時オーグメンテーションと7モデルのアンサンブルにより、バリデーションセットでのmIoUは73.78に向上し、最終提出ではテストセットで71.13 mIoUを達成した。
• 提案されたグローバルコンテキストプーリング（GCP）モジュールは、ベースモデル比で0.94 mIoUの向上をもたらし、長距離依存性を効果的に捉えることができた。
• 共有特徴と補助監督を活用したエンドツーエンドのマルチタスク学習戦略により、すべてのタスクで一貫した性能向上が得られた。