[論文レビュー] What You See is What You Get: Exploiting Visibility for 3D Object Detection

Peiyun Hu, Jason Ziglar+2 more|arXiv (Cornell University)|Dec 10, 2019

Advanced Neural Network Applications参考文献 35被引用数 13

ひとこと要約

本稿では、ボクセル化された可視性マップを追加入力ストリームとして統合することで、ボクセルベースのネットワークを向上させる可視性に配慮した3Dオブジェクト検出フレームワークを提案する。トレーニング中にレイキャスティングを用いて可視性を計算することで、アーキテクチャの大幅な見直しを伴わずにNuScenesベンチマーク上で検出精度を向上させ、データ拡張および時空間集約を組み合わせた最先端の検出器において一貫した向上を示した。

ABSTRACT

Recent advances in 3D sensing have created unique challenges for computer vision. One fundamental challenge is finding a good representation for 3D sensor data. Most popular representations (such as PointNet) are proposed in the context of processing truly 3D data (e.g. points sampled from mesh models), ignoring the fact that 3D sensored data such as a LiDAR sweep is in fact 2.5D. We argue that representing 2.5D data as collections of (x, y, z) points fundamentally destroys hidden information about freespace. In this paper, we demonstrate such knowledge can be efficiently recovered through 3D raycasting and readily incorporated into batch-based gradient learning. We describe a simple approach to augmenting voxel-based networks with visibility: we add a voxelized visibility map as an additional input stream. In addition, we show that visibility can be combined with two crucial modifications common to state-of-the-art 3D detectors: synthetic data augmentation of virtual objects and temporal aggregation of LiDAR sweeps over multiple time frames. On the NuScenes 3D detection benchmark, we show that, by adding an additional stream for visibility input, we can significantly improve the overall detection accuracy of a state-of-the-art 3D detector.

研究の動機と目的

• LiDARスイープを3Dポイントクラウドとして表現する際に生じる可視性および空き領域情報の損失を是正すること。
• 標準的な3D表現でしばしば無視される可視性の手がかりが、深層学習パイプラインに効率的に回復され統合可能であることを示すこと。
• コアネットワークアーキテクチャを変更せずに、ボクセルベースの検出器に可視性ストリームを追加することで、3Dオブジェクト検出性能を向上させること。
• 可視性の推論が、LiDARベースの検出における合成データ拡張および時空間集約をどのように向上させるかを示すこと。

提案手法

• 本手法は、LiDARポイントクラウドから可視性マップをレイキャスティングベースで計算するアルゴリズムを導入し、その後ボクセライズ化して追加の入力チャネルとして使用する。
• 可視性は、各ボクセルからレイを発射して各視線方向にどのポイントが可視であるかを特定することで計算され、オクルージョン情報を保持する。
• 2ストリーム3D検出器アーキテクチャにおいて、早期または後期の特徴統合戦略を用いて可視性マップとポイントクラウド特徴を融合する。
• PointPillarsのような既存の3D検出器とも互換性があり、最小限の変更でプラグイン統合が可能である。
• 可視性ストリームはバッチベースのバックプロパゲーションを用いてエンドツーエンドで訓練され、レイキャスティングプロセスを通り抜ける勾配伝搬が可能である。
• 合成データ拡張および時空間集約の有無を問わず評価し、可視性が両者を向上させることを示した。

実験結果

リサーチクエスチョン

• RQ1 LiDARスイープからの可視性情報は、3Dオブジェクト検出のための深層学習モデルに効率的に回復され統合可能か？
• RQ2 可視性を追加の入力ストリームとして統合することで、NuScenesのような標準ベンチマークで検出精度が向上するか？
• RQ3 可視性の推論は、3D検出における合成データ拡張および時空間集約をどのように向上させるか？
• RQ4 バックプロパゲーションを介して可視性マップを計算・微分可能であり、エンドツーエンドの訓練が可能か？
• RQ5 PointPillarsのような最先端の検出パイプラインと組み合わせた場合、可視性ストリームは有効か？

主な発見

• ベースラインのPointPillarsモデルと比較して、可視性ストリームを追加することでNuScenes 3D検出ベンチマーク上で平均平均精度（mAP）が2.1%向上した。
• 可視性に配慮した検出は、NuScenesテストセットでmAP 51.3%を達成し、ベースラインのPointPillarsモデルより2.1ポイント高い性能を示した。
• 可視性ストリームは、大型オブジェクトおよび小型オブジェクトの両方で一貫した向上を示し、大型オブジェクトでは2.3%、小型オブジェクトでは1.8%の向上を達成した。
• 可視性の推論により、遮蔽領域に仮想オブジェクトをより現実的に配置できるようになり、合成データ拡張が向上した。
• 複数のLiDARスイープにわたる可視性マップの時空間集約により、検出性能が向上し、オンラインオカペーシャー地図に類似した挙動を再現した。
• これらの向上は最小限のアーキテクチャ変更で達成されており、3D検出における単純だが強力なインダクティブバイアスとしての可視性の有効性を示している。