[論文レビュー] HALS: A Height-Aware Lidar Super-Resolution Framework for Autonomous Driving

George Eskandar, Sudarsan, Sanjeev+4 more|arXiv (Cornell University)|Feb 8, 2022

Advanced Optical Sensing Technologies被引用数 5

ひとこと要約

HALSは、極座標における多様な受容 field を持つ生成器を用いて、LiDARスキャンにおける高さ依存の距離分布をモデル化する、新しい高さに配慮したLiDARスーパーレゾリューションフレームワークを提案する。Kitti、NuScenes、Cityscapesのデータセットにおいて、幾何的忠実性と物体検出精度が向上し、最先端の性能を達成した。

ABSTRACT

Lidar sensors are costly yet critical for understanding the 3D environment in autonomous driving. High-resolution sensors provide more details about the surroundings because they contain more vertical beams, but they come at a much higher cost, limiting their inclusion in autonomous vehicles. Upsampling lidar pointclouds is a promising approach to gain the benefits of high resolution while maintaining an affordable cost. Although there exist many pointcloud upsampling frameworks, a consistent comparison of these works against each other on the same dataset using unified metrics is still missing. In the first part of this paper, we propose to benchmark existing methods on the Kitti dataset. In the second part, we introduce a novel lidar upsampling model, HALS: Height-Aware Lidar Super-resolution. HALS exploits the observation that lidar scans exhibit a height-aware range distribution and adopts a generator architecture with multiple upsampling branches of different receptive fields. HALS regresses polar coordinates instead of spherical coordinates and uses a surface-normal loss. Extensive experiments show that HALS achieves state-of-the-art performance on 3 real-world lidar datasets.

研究の動機と目的

• 統一された指標を用いて、実世界のデータセットにおけるLiDARアップサンプリング手法のための一貫性のあるベンチマークを整備すること。
• 既存の点群アップサンプリング手法の限界、特にLiDARスキャンにおける高さ依存の距離分布を考慮しないことによる問題を特定すること。
• 高さに配慮した設計と極座標における回帰を用いて、アップサンプリング中に3次元幾何的構造と物体形状を保持する新しいフレームワークを開発すること。
• 計算効率を維持したまま、点群解像度を向上させることで、3次元物体検出などの下流の認識タスクを改善すること。

提案手法

• 垂直ビームの領域ごとに異なる高さ依存の距離分布に適合する複数のアップサンプリングブランチを備えたグリッドベースの生成器アーキテクチャを提案する。
• 球面座標ではなく極座標を入力および出力として使用することで、高さ情報を明示的にモデル化し、幾何的整合性を向上させる。
• 局所的な3次元構造を保持し、再構築された表面のアーチファクトを低減するために、サーフェス法線損失を用いる。
• Kitti、NuScenes、Cityscapesの実世界LiDARスキャンを用いて、L1、L2、および法線整合性を組み合わせたマルチスケール損失を用いて、エンドツーエンドでモデルを学習する。
• 高距離・高高度領域における長距離依存性を捉えるために、垂直ビームごとに受容フィールドを変化させる生成器の設計を行う。
• 低解像度から高解像度への決定的マッピングを採用し、形状忠実性と真値との分布マッチングに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 統一された指標を用いて実世界のデータセットで一貫してベンチマークされた場合、既存のLiDARアップサンプリング手法はどの程度の性能を示すか？
• RQ2 LiDARスキャンにおける高さ依存の距離分布を無視した場合、アップサンプリングされた点群の品質にどのような影響が生じるか？
• RQ3 ビーム固有の距離統計をモデル化するマルチ受容フィールド生成器アーキテクチャは、LiDARスーパーレゾリューションにおける幾何的忠実性を向上させることができるか？
• RQ4 極座標とサーフェス法線損失を用いることで、形状の保存性と下流タスクのパフォーマンスはどの程度向上するか？
• RQ5 物体検出精度の観点から、提案されたHALSフレームワークは最先端手法と比較してどの程度優れているか？

主な発見

• HALSは、Kitti Raw、Kitti Object、NuScenesの3つの実世界LiDARデータセットにおいて、幾何的忠実性と物体検出性能の両面で最先端の性能を達成した。
• Kitti Objectデータセットにおいて、HALSは「Car」クラスのハード難易度で平均適合率（AP）55.76を達成し、ILN（34.00）およびLIDAR-SR（20.39）を上回った。
• 定性的な分析から、HALSが生成する点群は、車両などの前面物体の形状と分布をより良く保持しており、ILN や LIDAR-SR よりもアーチファクトやノイズが少ないことが明らかになった。
• アブレーションスタディの結果、高さに配慮した設計と極座標表現が再構築品質を著しく向上させ、構造的歪みを低減することが確認された。
• グリッドベースの手法が、垂直方向の受容フィールドが広いため、ビーム単位の距離変動をより良く捉えることができ、点ベースの手法を上回った。
• サーフェス法線損失は、点群のスケーリングに伴う平坦または歪んだ領域を低減し、局所的な表面整合性を向上させた。