[論文レビュー] StarNet: Targeted Computation for Object Detection in Point Clouds

Jiquan Ngiam, Benjamin Caine+11 more|arXiv (Cornell University)|Aug 29, 2019

Advanced Neural Network Applications参考文献 51被引用数 100

ひとこと要約

StarNetは、データ依存の proposals と局所 featurization を用いたスパースなポイントベースの LiDAR 検出器で、推論コストの動的制御と時間的文脈化を可能にしつつ、競争力のある3D物体検出を実現する。

ABSTRACT

Detecting objects from LiDAR point clouds is an important component of self-driving car technology as LiDAR provides high resolution spatial information. Previous work on point-cloud 3D object detection has re-purposed convolutional approaches from traditional camera imagery. In this work, we present an object detection system called StarNet designed specifically to take advantage of the sparse and 3D nature of point cloud data. StarNet is entirely point-based, uses no global information, has data dependent anchors, and uses sampling instead of learned region proposals. We demonstrate how this design leads to competitive or superior performance on the large Waymo Open Dataset and the KITTI detection dataset, as compared to convolutional baselines. In particular, we show how our detector can outperform a competitive baseline on Pedestrian detection on the Waymo Open Dataset by more than 7 absolute mAP while being more computationally efficient. We show how our redesign---namely using only local information and using sampling instead of learned proposals---leads to a significantly more flexible and adaptable system: we demonstrate how we can vary the computational cost of a single trained StarNet without retraining, and how we can target proposals towards areas of interest with priors and heuristics. Finally, we show how our design allows for incorporating temporal context by using detections from previous frames to target computation of the detector, which leads to further improvements in performance without additional computational cost.

研究の動機と目的

• LiDAR データのスパース性と3D性を活用してリアルタイムの自動運転を実現する検出器を動機づける。
• 全てポイントベースの検出器を開発し、グローバルな文脈なしに各提案を独立して処理する。
• 学習済み領域提案を置換するための安価でデータ駆動の中心サンプリングと局所的な点群特徴抽出を導入する。
• 提案数や提案あたりの点数を変えることで推論時に計算資源を動的に割り当てられることを示す。
• 前のフレームからの時間的文脈が追加コストなしで検出精度を向上させるように計算をターゲット付けできることを示す。

提案手法

• LiDAR 点群から中心をサンプリングし、各中心を独立して処理する局所的で非グローバルな検出器 StarNet を提案する。
• z バounds 内で提案中心を生成するためにランダムまたは最遠点サンプリング（FPS）を用い、オプションとして前フレームの検出で種付けする。
• 各提案の周囲の局所点群を、局所統計と全体統計を集約する StarNet ブロックのスタックで特徴化し、提案ごとに 384-d の特徴を生成する。
• 各中心を囲むデータ依存のアンカーグリッドを適用して最終予測を構築し、384-d の特徴から境界ボックスのパラメータの分類/logitsおよび回帰を射影する。
• 分類には focal loss、境界ボックス回帰には SmoothL1 loss を用いて訓練する; IoU ベースのアサインメントを正/負の閾値スキームで使用する。
• 前フレームの高信頼検出で提案中心を種付けして時間的文脈を活用し、再訓練なしで現在フレームの検出を向上させる。

実験結果

リサーチクエスチョン

• RQ1 局所的で非集約された提案に基づく完全な点ベース検出器は、3D 物体検出において畳み込みベースの手法と競合できるか。
• RQ2 LiDAR のスパース性とデータ依存サンプリングを活用して、再訓練なしで推論コストを柔軟に制御できるか。
• RQ3 前フレームからの時間的文脈を取り入れることが検出性能と計算にどう影響するか。
• RQ4 さまざまな中心サンプリング戦略（ランダム vs FPS vs 時間的種付け）が検出のカバレッジと精度に与える影響は何か。

主な発見

モデル	Car Easy	Car Mod	Car Hard	Pedestrian Easy	Pedestrian Mod	Pedestrian Hard	Cyclist Easy	Cyclist Mod	Cyclist Hard
VoxelNet	77.47	65.11	57.73	39.48	33.69	31.50	61.22	48.36	44.37
SECOND	83.13	73.66	66.20	51.07	42.56	37.29	70.51	53.85	46.90
PointPillars	79.05	74.99	68.30	52.08	43.53	41.49	75.78	59.07	52.92
StarNet	81.63	73.99	67.07	48.58	41.25	39.66	73.14	58.29	52.58

• StarNet は KITTI および Waymo Open Dataset において、畳み込みベースのベースラインと比較して競争力のある 3D 検出性能を達成する。
• Waymo の Pedestrian 検出では、StarNet が同等または低い計算量で競合するベースラインを絶対値で 7 以上の mAP で上回る。
• 時間的文脈を前フレームの検出で利用すると mAP を大幅に向上させる。例として、前検出で中心をシードすると Pedestrian の mAP が相対的に約40%程度改善される。
• FPS サンプリングを用いると、ランダムサンプリングより空間カバレッジが均一になり、提案予算が固定された場合に中心提案がより良くなる。
• 1つの訓練済み StarNet モデルは、提案数または提案あたりの点数を変えるだけで計算コストを適応的に調整でき、顕著な効率化を達成する。
• 時間的シーディングでは、384中心で32前検出を使用すると検証で Pedestrian mAP が 41.8 から 53.2 に上昇し、192 前検出で 58.0（384 centers に対して）となる。512 前検出で 1024 centers を使用すると約 69.7 mAP となる。