[論文レビュー] Faraway-Frustum: Dealing with Lidar Sparsity for 3D Object Detection using Fusion

Haolin Zhang, Dongfang Yang+3 more|arXiv (Cornell University)|Nov 3, 2020

Robotics and Sensor-Based Localization参考文献 27被引用数 6

ひとこと要約

本稿では、遠方物体検出のための新規な3次元物体検出手法であるFaraway-Frustumを提案する。この手法は、2次元RGBビジョンを用いて遠方物体の分類を行い、スパースなLiDAR点群とクラスタリングを組み合わせて3次元的位置特定を行う。KITTIベンチマークにおける遠方物体検出において、最新の手法を著しく上回り、特に60メートルを超える歩行者や75メートルを超える車両に対して顕著な性能向上を達成した。

ABSTRACT

Learned pointcloud representations do not generalize well with an increase in distance to the sensor. For example, at a range greater than 60 meters, the sparsity of lidar pointclouds reaches to a point where even humans cannot discern object shapes from each other. However, this distance should not be considered very far for fast-moving vehicles: A vehicle can traverse 60 meters under two seconds while moving at 70 mph. For safe and robust driving automation, acute 3D object detection at these ranges is indispensable. Against this backdrop, we introduce faraway-frustum: a novel fusion strategy for detecting faraway objects. The main strategy is to depend solely on the 2D vision for recognizing object class, as object shape does not change drastically with an increase in depth, and use pointcloud data for object localization in the 3D space for faraway objects. For closer objects, we use learned pointcloud representations instead, following state-of-the-art. This strategy alleviates the main shortcoming of object detection with learned pointcloud representations. Experiments on the KITTI dataset demonstrate that our method outperforms state-of-the-art by a considerable margin for faraway object detection in bird's-eye-view and 3D. Our code is open-source and publicly available: https://github.com/dongfang-steven-yang/faraway-frustum.

研究の動機と目的

• LiDAR点群が極めてスパースになる遠方物体（60メートル以上）の3次元物体検出という重要な課題に取り組む。
• 学習された点群表現が、形状情報の喪失により、遠くにありスパースな物体に一般化できないことを見出す。
• 近距離データで訓練された深層ニューラルネットワークに依存する最新のLiDARベースの検出器が、遠方物体では性能を発揮しないという制限を克服する。
• 2次元画像データを用いた物体クラス認識と、スパース点群を用いた3次元位置特定を融合することで、距離に応じた検出のロバスト性を向上させる戦略を開発する。
• クロップされたスパース点群に対するクラスタリングが、遠方物体の位置特定において、学習された表現よりも優れていることを実証する。

提案手法

• RGB画像からの2次元インスタンスセグメンテーションマスクまたはバウンディングボックスを用い、候補となる物体の3次元LiDAR空間におけるフリスツムを生成する。
• 点群クラスタリングを適用して、各物体の3次元重心をフリスツム内に推定し、距離閾値に基づいて遠方物体を特定する。
• 遠方物体（例：歩行者では60メートル以上、車両では75メートル以上）に対しては、推定された重心とクロップされた点群に基づいて、専用のFaraway Frustum Network（FF-Net）を用いて3次元バウンディングボックスを回帰する。
• 遠方でない物体については、学習済みの点群表現（例：PV-RCNNから得られるもの）を直接用いて3次元ボックス適合を行うことで、SOTA手法との互換性を維持する。
• 2次元検出結果とLiDARデータを統合し、物体の距離に応じて戦略を切り替えるハイブリッド検出パイプラインを構築する。
• FF-Netを、密な近距離データから学習された表現に依存しないように、スパース点群を用いて深さとボックス形状の最適化を学習させる。

実験結果

リサーチクエスチョン

• RQ1 LiDAR点群が形状ベースの検出に不十分なほどスパースである場合、2次元ビジョンに基づく物体認識を効果的に活用して遠方物体を検出できるか？
• RQ2 非常にスパースでクロップされたLiDAR点群に対してクラスタリングを適用する方が、密な点群で訓練された深層ニューラルネットワークに比べ、遠方3次元物体の位置特定において優れているか？
• RQ3 2次元検出とスパース点群処理を組み合わせたハイブリッド検出戦略は、近距離・中距離物体の性能を低下させることなく、遠方物体検出において優れた性能を達成できるか？
• RQ4 SOTAのLiDARベース3次元検出器は、KITTIのような実世界ベンチマークにおいて、どの程度遠方物体で失敗するのか？
• RQ5 物体の距離に応じて、学習済み表現とクラスタリングベースの位置特定を切り替えるモジュラーな検出システムを設計することが可能か？

主な発見

• KITTIバリデーションセットにおいて、本手法は地上から見た視点（bird’s-eye view）で60メートルを超える遠方歩行者に対して45.45%のmAPを達成し、最良のSOTA手法（Frustum PointNets）を45.45ポイントも上回った。
• 75メートルを超える遠方車両に対しても、本手法は地上から見た視点で46.90%のmAPを達成し、次に優れた手法（Frustum PointNets）よりも46.90ポイントの向上を達成した。
• 3次元検出において、本手法は60メートルを超える遠方歩行者に対して44.54%のmAP、75メートルを超える遠方車両に対して46.90%のmAPを達成した。これは、SOTA手法がこれらのカテゴリで0.00%のmAPを報告していたのに対し、顕著な性能向上を示した。
• 非遠方物体（Easy/Mod/Hardベンチマーク）においても、本手法はSOTA水準の性能を維持しており、すべてのIoU閾値でPV-RCNNと同等またはわずかに上回るmAPスコアを達成した。
• 定性的な結果から、SOTA手法が完全に失敗するような困難なシーンにおいて、唯一本手法が遠方の歩行者および車両を正しく検出できた。
• アブレーションスタディの結果、スパース点群に対するクラスタリングベースの位置特定が、遠方検出において学習済み表現よりも優れていることが確認され、本研究のコアな設計選択が妥当であることが裏付けられた。