[論文レビュー] LiDAR Cluster First and Camera Inference Later: A New Perspective Towards Autonomous Driving

Jiyang Chen, Simon C.H. Yu+5 more|arXiv (Cornell University)|Nov 18, 2021

Advanced Neural Network Applications参考文献 15被引用数 4

ひとこと要約

本論文は、LiDAR点群を最初に3次元クラスタにクラスタリングし、それを2次元カメラ領域（2次元クラスタ）に投影した後、優先度の高い領域でのみカメラベースの推論を実行することで、高リスクの物体を優先するエンドツーエンドの自律走行認識パイプラインを提案する。この手法は、優先度の逆転を低減し、フルフレーム処理と比較して推論速度を25%向上させつつ、Waymo Open Datasetを用いた検出精度を同等に維持する。

ABSTRACT

Object detection in state-of-the-art Autonomous Vehicles (AV) framework relies heavily on deep neural networks. Typically, these networks perform object detection uniformly on the entire camera LiDAR frames. However, this uniformity jeopardizes the safety of the AV by giving the same priority to all objects in the scenes regardless of their risk of collision to the AV. In this paper, we present a new end-to-end pipeline for AV that introduces the concept of LiDAR cluster first and camera inference later to detect and classify objects. The benefits of our proposed framework are twofold. First, our pipeline prioritizes detecting objects that pose a higher risk of collision to the AV, giving more time for the AV to react to unsafe conditions. Second, it also provides, on average, faster inference speeds compared to popular deep neural network pipelines. We design our framework using the real-world datasets, the Waymo Open Dataset, solving challenges arising from the limitations of LiDAR sensors and object detection algorithms. We show that our novel object detection pipeline prioritizes the detection of higher risk objects while simultaneously achieving comparable accuracy and a 25% higher average speed compared to camera inference only.

研究の動機と目的

• 衝突リスクの異なる物体が均等に処理される自律走行車両認識システムにおける優先度の逆転を是正すること。
• カメラフレームの最も重要な領域にのみ物体検出を集中させることで、計算リソースの無駄を削減すること。
• 理想化されたバウンディングボックスや完全なLiDARアノテーションに依存しない、実世界対応のパイプラインを設計すること。
• リアルタイム自律走行アプリケーションにおいて、検出精度を損なわずに推論速度を向上させること。
• 深さに敏感な複合画像グループ化と最適化を通じて、GPUの効率的利用を実現すること。

提案手法

• 深度の不連続性に基づいて3次元オブジェクトをセグメンテーションするため、生のLiDAR点群にDepth Clusteringアルゴリズムを適用する。
• 3次元クラスタを2次元カメラ画像に投影し、関連する深度値を持つ2次元クラスタを生成する。
• 重複しているか散在している2次元クラスタを統合するための深さに敏感なマージアルゴリズムを適用し、衝突回避領域（CAZones）を形成する。
• CAZonesを効率的なGPUバッチ処理のために複合画像にグループ化するための深さに敏感なFirst-Fit Decreasing Height（FFDH）アルゴリズムを設計する。
• GPUプロファイリングと深さに基づく優先度付けを最適化することで、優先度の逆転を制限し、エンドツーエンドの遅延を低減する。
• 複合CAZonesにおける推論にYOLOv3を用いて、Waymo Open Dataset上でシステムを評価する。

実験結果

リサーチクエスチョン

• RQ1 LiDARファースト、カメラ推論ラスターのパイプラインは、高リスク領域に注目することで、自律走行車両認識における優先度の逆転を低減できるか？
• RQ2 本手法は、フルフレームカメラ推論と比較して、推論速度と検出精度の面でどのように異なるか？
• RQ3 完璧なバウンディングボックスの仮定に依存せずに、実世界のLiDARデータを効果的に用いて信頼性の高い深さに敏感な注目領域を生成できるか？
• RQ4 深さに敏感なマージと複合画像グループ化は、GPUの利用効率を向上させ、エンドツーエンドの遅延をどの程度低減できるか？
• RQ5 カメラフレームの一部のみを処理するにもかかわらず、パイプラインは検出精度を維持または向上できるか？

主な発見

• 提案されたパイプラインは平均129 msの推論時間を達成し、フルフレームYOLOv3-608ベースライン（197 ms）と比較して25%高速であった。
• LiDARモジュールは点群処理を平均5.7 msで実行し、カメラモジュールの非推論部品はわずか9 msのオーバーヘッドを追加した。
• 本手法は同等の検出精度を維持しており、AP_{M}は92.73%（フル_608ベースラインの90.75%より高い）であり、AP_{50}は96.25%であった。
• 深さに敏感なマージアルゴリズムは、誤検出と過剰に分割されたクラスタを効果的に低減し、効果的な推論に適した一貫性のあるCAZonesを形成した。
• 複合画像グループ化戦略により、DNNアーキテクチャの変更なしに効率的なGPUバッチ処理が可能となり、全体の高速化に寄与した。
• システムは、理想化されたまたは合成されたLiDARアノテーションに依存せず、Waymo Open Datasetを用いた実世界の条件下でも頑健であることが示された。