[論文レビュー] PolarStream: Streaming Lidar Object Detection and Segmentation with Polar Pillars

Qi Chen, Sourabh Vora+1 more|arXiv (Cornell University)|Jun 14, 2021

Remote Sensing and LiDAR Applications参考文献 33被引用数 8

ひとこと要約

PolarStreamは、楔型の点群セクタを効率的に表現するための極座標ピラーを用いたストリーミングLiDAR認識フレームワークを導入し、メモリと計算の無駄を削減する。マルチスケールのパディングにより空間的文脈を向上させるとともに、特徴の歪み補正と距離階層型畳み込みを用いて極座標グリッドの歪みを是正し、nuScenesで最先端の性能を達成するとともに、非ストリーミング手法より低遅延を実現した。

ABSTRACT

Recent works recognized lidars as an inherently streaming data source and showed that the end-to-end latency of lidar perception models can be reduced significantly by operating on wedge-shaped point cloud sectors rather then the full point cloud. However, due to use of cartesian coordinate systems these methods represent the sectors as rectangular regions, wasting memory and compute. In this work we propose using a polar coordinate system and make two key improvements on this design. First, we increase the spatial context by using multi-scale padding from neighboring sectors: preceding sector from the current scan and/or the following sector from the past scan. Second, we improve the core polar convolutional architecture by introducing feature undistortion and range stratified convolutions. Experimental results on the nuScenes dataset show significant improvements over other streaming based methods. We also achieve comparable results to existing non-streaming methods but with lower latencies. The code and pretrained models are available at \url{https://github.com/motional/polarstream}.

研究の動機と目的

• ストリーミングLiDAR認識における長方形表現の非効率性、特に楔型セクタにおいてメモリと計算リソースを無駄にすることを是正する。
• 複数スキャンにわたる隣接セクタの特徴を活用することで、ストリーミングLiDARモデルにおける空間的文脈を向上させること。
• 3次元検出における畳み込み演算を妨げる極座標グリッド表現の歪みを是正すること。
• 最小限の遅延でエンドツーエンドのストリーミング推論を可能にし、検出、セグメンテーション、パンタピックセグメンテーションの高精度を維持すること。
• 極座標グリッド表現とデカルトグリッド表現の間の性能格差を是正すること。

提案手法

• 矩形ボクセルではなく極座標ピラーを用いてLiDARセクタを表現することで、メモリと計算のオーバーヘッドを低減する。
• 現在のスキャンの直前セクタと前のスキャンの直後セクタの特徴を組み込むことで、マルチスケールの文脈パディングを実装する。
• 分類ブランチ向けに、極座標特徴を標準的なデカルト空間に変換する「特徴歪み補正モジュール」を導入する。
• 距離範囲ごとにカーネルサイズと正規化を適応的に変更する「距離階層型畳み込みおよび正規化層」を設計する。
• ストリーミングパイプライン内で、同時に3次元物体検出、LiDARセグメンテーション、パンタピックセグメンテーションを実行するマルチタスクモデルを訓練する。
• セクタ間で共有された特徴を有するバックボーンを用いることで、文脈の集約を維持しながら遅延を低く抑える。

実験結果

リサーチクエスチョン

• RQ1 極座標ピラーは、ストリーミングLiDARセクタの表現において、長方形ボクセルよりも効率的であるか？
• RQ2 隣接セクタからのマルチスケール文脈パディングは、ストリーミングLiDAR認識における検出およびセグメンテーション性能を向上させるか？
• RQ3 特徴歪み補正と距離階層型畳み込みは、極座標グリッドベースの3次元検出における歪みを是正できるか？
• RQ4 ストリーミングモデルは、非ストリーミング手法と同等の性能を達成しながら、エンドツーエンドの遅延を低減できるか？
• RQ5 1つのモデルが、ストリーミング形式で3次元検出、セグメンテーション、パンタピックセグメンテーションを同時に実行できるか？

主な発見

• PolarStreamは、32セクタでnuScenesバリデーションスプリットにおいて77.7のパンタピック品質を達成し、すべての先行ストリーミング手法を上回った。
• 32セクタで、ベースラインの極座標ピラーモデルと比較して、検出mAPが5.7ポイント向上した。
• 特徴歪み補正と距離階層型畳み込みの組み合わせにより、検出mAPが48.2から50.3に向上し、デカルトピラー（50.6）との差を縮めた。
• PolarStreamはnuScenesで61.4 NDSおよび77.7 PQを達成し、トップ非ストリーミングモデルと同等の性能を発揮しながら、少なくとも2倍速い。
• 双方向文脈パディングは、フルスイープ極座標ピラーのベースラインを上回る性能を発揮し、特にセクタ数が多い場合（例：32セクタ）に顕著に向上した。
• 提案手法は実行時遅延にたった0.5msの追加しかせず、リアルタイムデプロイメントに適している。