[論文レビュー] Common Corruption Robustness of Point Cloud Detectors: Benchmark and Enhancement

Shuangzhi Li, Zhijie Wang+4 more|arXiv (Cornell University)|Oct 12, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、雨、雪、霧、センサーノイズなどの実際の劣化を再現する25種類の一般的な破損に対して6段階の深刻度を想定し、点群オブジェクト検出器の物理的感知性能を評価する初のベンチマークを紹介する。このベンチマークを用いて、最先端の8種類の検出器を評価した結果、現在のデータ拡張法およびノイズ除去手法による耐障害性の向上は限定的であることが判明し、3次元検出における新たな耐障害性向上手法の開発が急務であることが示された。

ABSTRACT

Object detection through LiDAR-based point cloud has recently been important in autonomous driving. Although achieving high accuracy on public benchmarks, the state-of-the-art detectors may still go wrong and cause a heavy loss due to the widespread corruptions in the real world like rain, snow, sensor noise, etc. Nevertheless, there is a lack of a large-scale dataset covering diverse scenes and realistic corruption types with different severities to develop practical and robust point cloud detectors, which is challenging due to the heavy collection costs. To alleviate the challenge and start the first step for robust point cloud detection, we propose the physical-aware simulation methods to generate degraded point clouds under different real-world common corruptions. Then, for the first attempt, we construct a benchmark based on the physical-aware common corruptions for point cloud detectors, which contains a total of 1,122,150 examples covering 7,481 scenes, 25 common corruption types, and 6 severities. With such a novel benchmark, we conduct extensive empirical studies on 8 state-of-the-art detectors that contain 6 different detection frameworks. Thus we get several insight observations revealing the vulnerabilities of the detectors and indicating the enhancement directions. Moreover, we further study the effectiveness of existing robustness enhancement methods based on data augmentation and data denoising. The benchmark can potentially be a new platform for evaluating point cloud detectors, opening a door for developing novel robustness enhancement methods.

研究の動機と目的

• 実際の破損状況を想定した包括的かつ大規模な点群検出器耐障害性評価ベンチマークの不足を解消すること。
• 天候、センサーノイズ、環境要因に起因するLiDAR点群における物理的に妥当な劣化を再現すること。
• 多様な破損状況下における8種類の最先端3次元オブジェクト検出器の脆弱性を実験的に分析すること。
• データ拡張やノイズ除去などの現在の耐障害性向上手法の有効性を評価すること。
• 今後の耐障害性向上研究を支援するための新たなベンチマークプラットフォームを提供すること。

提案手法

• LiDARシステムの物理的画像形成原理に基づき、現実的で物理的に妥当な点群破損を生成するためのシミュレーション手法を提案する。
• 7,481シーン、25種類の破損タイプ、6段階の深刻度を含む、合計1,122,150例の点群データを含む大規模なベンチマークを構築する。
• 6種類の異なる検出フレームワークを用いて、8種類の最先端3次元検出器をこのベンチマークで評価する。
• 物理的感知型データ拡張（PA-DA）とKNNベースの外れ値除去（KNN-RO）の2つの耐障害性向上戦略を実装する。
• 検出器の性能を破損状況下で定量的に評価するため、平均平均適合度（mAP）と破損評価適合度（CE_AP）を指標として用いる。

Figure 1 : Feature visualization of the snow classification by T-SNE

実験結果

リサーチクエスチョン

• RQ1 最先端の点群検出器は、広範な実際的で物理的に妥当な破損状況下で、どのように性能を示すか？
• RQ2 雨、雪、霧、センサーノイズといった一般的な破損状況にさらされた際、現在の3次元検出器の主な脆弱点は何か？
• RQ3 現在のデータ拡張法およびノイズ除去手法は、これらの破損状況に対する検出器の耐障害性向上にどの程度有効か？
• RQ4 車と歩行者といった異なるオブジェクトカテゴリ間で、耐障害性の向上効果は一貫しているか？
• RQ5 提案されたベンチマークは、今後の耐障害性向上研究の評価および指針提供に信頼できるプラットフォームとして機能できるか？

主な発見

• BtcDetとSE-SSDは破損状況下で検出精度が著しく低下し、FDが4%以上上昇するなど、極めて脆弱であることが判明した。
• KNNベースの外れ値除去（KNN-RO）は車両検出の耐障害性向上に失敗し、平均でCE_APが0.17%低下した。歩行者検出の改善はわずかに見られたにとどまった。
• 物理的感知型データ拡張（PA-DA）は、車両検出において平均でCE_APが0.16%向上するにとどまり、有効性は限定的であることが示された。
• PA-DAとKNN-ROの組み合わせにより、車両検出の平均CE_APは13.38%に上昇したが、依然として低く、耐障害性向上の効果は不十分であることが示された。
• PointRCNNやVoTr-SSDといった検出器では、PA-DAにより最大2.46%のAP向上が見られた。これは特定のアーキテクチャに対しては一定の利点があることを示唆している。
• ベンチマークの結果から、現在の耐障害性向上手法はほとんど効果がなく、今後の研究ではより的を射たアプローチの開発が不可欠であることが明らかになった。

Figure 2 : Feature visualization of the fog classification by T-SNE