[論文レビュー] Hindsight is 20/20: Leveraging Past Traversals to Aid 3D Perception

Yurong You, Katie Z Luo+7 more|arXiv (Cornell University)|Mar 22, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

本論文では、同じシーンのラベルなし過去LiDAR走査を活用して3次元物体検出を向上させるエンドツーエンドで学習可能なフレームワーク、Hindsightを提案する。過去のデータをコンactな地理的参照付き特徴構造であるSQuaSHに集約することで、小形・遠距離・隠蔽状態の物体の検出が向上する。実世界のデータセットにおいて、追加の教師信号なしに、困難なケースで平均精度が300%以上向上する。

ABSTRACT

Self-driving cars must detect vehicles, pedestrians, and other traffic participants accurately to operate safely. Small, far-away, or highly occluded objects are particularly challenging because there is limited information in the LiDAR point clouds for detecting them. To address this challenge, we leverage valuable information from the past: in particular, data collected in past traversals of the same scene. We posit that these past data, which are typically discarded, provide rich contextual information for disambiguating the above-mentioned challenging cases. To this end, we propose a novel, end-to-end trainable Hindsight framework to extract this contextual information from past traversals and store it in an easy-to-query data structure, which can then be leveraged to aid future 3D object detection of the same scene. We show that this framework is compatible with most modern 3D detection architectures and can substantially improve their average precision on multiple autonomous driving datasets, most notably by more than 300% on the challenging cases.

研究の動機と目的

• LiDAR点群における小形・遠距離・重度に隠蔽された3次元物体の検出という課題に対処すること。これらの物体は、正確な検出に十分な情報を持たないことがしばしばある。
• 同じシーンのラベルなし過去走査が、3次元認識を向上させるための価値ある文脈的情報を提供できるかどうかを調査すること。
• 追加のアノテーションや再トレーニングを必要とせず、歴史的シーンデータを現代の3次元検出器に統合する手法を開発すること。
• より多くの走査が収集されるにつれて、検出性能を継続的に向上させること。
• 既存の3次元検出パイプラインと互換性があり、スケーラブルで効率的かつプライバシーを保護するフレームワークを構築すること。

提案手法

• 本手法は、ニューラルネットワークを用いて、同じシーンの複数の過去LiDARスキャンから、スパarsな地理的参照付き表現であるSQuaSH（Spatial-Quantized Sparse History）を構築する。
• SQuaSHは、物体の持続性、共通の軌道、背景構造といった文脈的情報を符号化する。
• 推論時、現在のLiDARスキャンは、各点の周囲の局所的文脈をSQuaSHから照会することで拡張され、検出器に補助特徴として追加される。
• SQuaSH特徴抽出と3次元検出器を含むパイプライン全体が、追加の教師信号なしに検出アノテーションのみを用いてエンドツーエンドで学習される。
• SQuaSH表現は事前にオフラインで計算され、低遅延でオンライン照会可能であり、リアルタイム推論を可能にする。
• 本フレームワークは、さまざまな最先端の3次元検出器と互換性があり、新しい走査が得られるたびに段階的に更新可能である。

実験結果

リサーチクエスチョン

• RQ1 同じシーンの過去のラベルなしLiDAR走査が、3次元物体検出を向上させる意味のある文脈的情報を提供できるか？
• RQ2 歴史的シーンデータを、リアルタイム利用に適したコンactで照会可能な表現に効率的に集約する方法は何か？
• RQ3 検出ラベルのみを用いた共同学習スキームが、小形・遠距離物体などの困難なケースの検出性能を向上させられるか？
• RQ4 本手法は、異なる3次元検出アーキテクチャーや実世界のデータセットに一般化可能か？
• RQ5 より多くの走査が収集されるにつれて、性能はどのように向上するか？

主な発見

• Hindsightは、2つの大規模な実世界データセットにおいて、小形・遠距離・重度に隠蔽された物体などの困難なケースで、平均精度が300%以上向上する相対的改善を達成した。
• 本手法は、PointRCNN、PointPillars、CenterPoint、PV-RCNNを含む4種類の最先端3次元物体検出器において、一貫して検出性能を向上させた。
• 誤検出数が顕著に減少した一方で、特に遠距離の歩行者や小形自転車のリコールは維持または向上した。
• SQuaSH表現により、再トレーニングなしに、追加の走査が履歴に加わるにつれて継続的な性能向上が実現された。
• 本フレームワークは低遅延を維持しており、既存の3次元検出パイプラインと互換性があり、即座に統合可能なプラグアンドプレイ統合を可能にした。
• 本手法はシーンの変化に強く、現在のスキャンがスパarsまたは曖昧であっても、意味のある文脈的情報を提供する。