[論文レビュー] SPG: Unsupervised Domain Adaptation for 3D Object Detection via Semantic Point Generation

Qiangeng Xu, Yin Zhou+3 more|arXiv (Cornell University)|Aug 15, 2021

Advanced Neural Network Applications参考文献 71被引用数 11

ひとこと要約

本論文は、雨天による点群欠落によって低品質なLiDAR点群で前景オブジェクトの欠損部分が生じる状況を想定し、セマンティックポイントを生成することでそれらを回復する、3Dオブジェクト検出のための新しい非教師ありドメイン適応手法であるSemantic Point Generation（SPG）を提案する。SPGは、元の点群に生成されたセマンティックポイントを追加することで、異なるドメイン間での検出性能を向上させ、KITTIでは最先端の結果を達成し、Waymoのドメイン適応ベンチマークでも顕著なAP向上を実現するが、推論オーバーヘッドは最小限に抑えられる。

ABSTRACT

In autonomous driving, a LiDAR-based object detector should perform reliably at different geographic locations and under various weather conditions. While recent 3D detection research focuses on improving performance within a single domain, our study reveals that the performance of modern detectors can drop drastically cross-domain. In this paper, we investigate unsupervised domain adaptation (UDA) for LiDAR-based 3D object detection. On the Waymo Domain Adaptation dataset, we identify the deteriorating point cloud quality as the root cause of the performance drop. To address this issue, we present Semantic Point Generation (SPG), a general approach to enhance the reliability of LiDAR detectors against domain shifts. Specifically, SPG generates semantic points at the predicted foreground regions and faithfully recovers missing parts of the foreground objects, which are caused by phenomena such as occlusions, low reflectance or weather interference. By merging the semantic points with the original points, we obtain an augmented point cloud, which can be directly consumed by modern LiDAR-based detectors. To validate the wide applicability of SPG, we experiment with two representative detectors, PointPillars and PV-RCNN. On the UDA task, SPG significantly improves both detectors across all object categories of interest and at all difficulty levels. SPG can also benefit object detection in the original domain. On the Waymo Open Dataset and KITTI, SPG improves 3D detection results of these two methods across all categories. Combined with PV-RCNN, SPG achieves state-of-the-art 3D detection results on KITTI.

研究の動機と目的

• 雨天などの環境要因によってLiDAR点群の品質が著しく低下するドメイン間で3Dオブジェクト検出器の性能が著しく低下する問題に対処すること。
• ターゲットドメインのアノテーションを一切必要としない汎用的で即挿し可能な非教師ありドメイン適応（UDA）手法の開発。
• 環境要因の変化が著しい実世界の自動運転シナリオにおける検出の信頼性向上。
• 再トレーニングなしに、新しい地理的・気象的条件への効果的適応を可能にすること。

提案手法

• SPGは事前学習済みの検出器を用いて入力点群内の前景領域を特定し、その領域内でセマンティックポイントを生成して欠損部分を回復する。
• 背景領域をマスクし、焦点を前景オブジェクト領域に絆じるための「隠して予測する」戦略を採用する。
• 生成位置の決定に学習された確率マップを用い、信頼度スコアが生成プロセスをガイドする。
• 完全性と忠実度のバランスを取るために、空の前景ボクセルにおけるポイント生成を促進する重み付き損失を適用する。
• 生成されたセマンティックポイントを元の点群と統合し、下流の検出器用の拡張入力を得る。
• 本手法は効率的で、1080Ti GPU上でたった0.39Mのパラメータと17ms未満の遅延しか追加しない。

実験結果

リサーチクエスチョン

• RQ1 異なる天候条件のドメイン間で3Dオブジェクト検出器の性能が低下する主な要因は何か？
• RQ2 教師なしで、ターゲットドメインのアノテーションを一切使用せずに、3D検出性能を向上させられる汎用的かつ即挿し可能な手法は存在するか？
• RQ3 LiDARの戻りが欠落する状況で、セマンティックポイント生成は部分的に観測された3Dオブジェクトをどれほど効果的に回復できるか？
• RQ4 SPGは、同時にソースドメインとターゲットドメインの両方で検出性能をどれほど向上させられるか？
• RQ5 確率閾値や重み係数といったハイパーパrameterのうち、SPGの性能に最も顕著に影響を与えるものは何か？

主な発見

• Waymoのドメイン適応ベンチマークでPointPillarsを用いた車両検出において、SPGは容易（easy）、中程度（moderate）、困難（hard）の各難易度レベルで、それぞれ2.02%、2.97%、3.67%のAP向上を達成した。
• PV-RCNNを用いた歩行者検出において、SPGはターゲットドメインで容易レベルで5.40%、中程度レベルで5.13%、困難レベルで4.48%のAP向上を達成した。
• KITTIデータセットでは、SPGをPV-RCNNと組み合わせることで、ソースドメインでも最先端の3D検出性能を達成し、その有効性を示した。
• アブレーションスタディの結果、'隠して予測'戦略とセマンティック領域拡張、および前景信頼度重み付けを組み合わせた場合、ベースライン比で+6.91%のAP向上が得られた。
• ポイント選択の確率閾値を0.5に設定した場合が最適であり、前景回復と背景ノイズ抑制の両立が図れた。
• SPGはたった0.39百万のパラメータと17ms未満の遅延しか追加しないため、自動運転システムにおけるリアルタイム配備に適している。