[論文レビュー] 1st Place Solution for Waymo Open Dataset Challenge -- 3D Detection and Domain Adaptation

Zhuangzhuang Ding, Yihan Hu+5 more|arXiv (Cornell University)|Jun 28, 2020

Advanced Neural Network Applications参考文献 20被引用数 19

ひとこと要約

この論文は、CVPR 2020 Waymo Open Dataset Challengeにおける3D検出およびドメイン適応トラックの優勝ソリューションを提示する。著者らは、オブジェクトキーポイントを用いて3D属性をエンドツーエンドに回帰する、アンカーフリーでNMSフリ―な3Dポイントクラウド検出器AFDetを提案する。ポイントクラウドの密度化、ポイントペイント、モデルアンサンブル、テスト時増強を活用することで、3D検出で77.11% mAPH/L2、ドメイン適応で69.49% mAPH/L2の最先端性能を達成した。

ABSTRACT

In this technical report, we introduce our winning solution "HorizonLiDAR3D" for the 3D detection track and the domain adaptation track in Waymo Open Dataset Challenge at CVPR 2020. Many existing 3D object detectors include prior-based anchor box design to account for different scales and aspect ratios and classes of objects, which limits its capability of generalization to a different dataset or domain and requires post-processing (e.g. Non-Maximum Suppression (NMS)). We proposed a one-stage, anchor-free and NMS-free 3D point cloud object detector AFDet, using object key-points to encode the 3D attributes, and to learn an end-to-end point cloud object detection without the need of hand-engineering or learning the anchors. AFDet serves as a strong baseline in our winning solution and significant improvements are made over this baseline during the challenges. Specifically, we design stronger networks and enhance the point cloud data using densification and point painting. To leverage camera information, we append/paint additional attributes to each point by projecting them to camera space and gathering image-based perception information. The final detection performance also benefits from model ensemble and Test-Time Augmentation (TTA) in both the 3D detection track and the domain adaptation track. Our solution achieves the 1st place with 77.11% mAPH/L2 and 69.49% mAPH/L2 respectively on the 3D detection track and the domain adaptation track.

研究の動機と目的

• 手作業で設計されたアンカーに依存しない最小限の条件下で、ドメインをまたいで一般化可能な堅牢な3Dオブジェクト検出システムの開発。
• ポイントペイントによるマルチセンサーフュージョンを活用し、Waymo Open Datasetにおける検出性能の向上。
• 適応セットにおけるアノテーションデータが限られている状況でも、3D検出およびドメイン適応トラックの両方で最先端の結果を達成すること。
• データ増強およびアンサンブル技術を通じて、リソースが限られた環境やドメインシフトが生じる状況でもモデルの一般化性と頑健性を向上させること。

提案手法

• キーポイントのヒートマップから直接3Dバウンディングボックス属性を回帰する、ワンステージでアンカーフリーかつNMSフリ―な3Dオブジェクト検出器AFDetを提案。
• 効率的な処理のため、0.04m × 0.04m × 0.1mのグリッドサイズを用いたボクセル化により、ポイントクラウドを擬似BEV特徴マップに変換。
• 3Dポイントを2D画像空間に投影し、複数のビューからの画像ベース特徴をポイントクラウドに統合するポイントペイントを採用。
• ポイントクラウドの密度を向上させる密度化技術を導入し、小さなまたは疎なオブジェクトの検出を改善。
• 推論の頑健性と両トラックにおける性能向上を図るため、テスト時増強（TTA）と重み付きアンサンブル（WBF）を適用。
• 重み付きフュージョンを用いない多スケール特徴間の特徴集約を向上させるために、変更されたBiFPNに類似した構造をRPNヘッドに採用。

実験結果

リサーチクエスチョン

• RQ1 手作業で設計されたアンカープライアを一切使わず、アンカーフリーでNMSフリ―な3D検出器が、Waymo Open Datasetで優れた性能を達成できるか？
• RQ2 LiDAR特徴と統合された際、ポイントペイントと密度化は3D検出性能の向上にどの程度効果的か？
• RQ3 ターゲットドメインに偏りや疎なアノテーションがある状況でも、微調整なしに1つのドメインで学習したモデルが、他のドメインにどの程度一般化できるか？
• RQ4 テスト時増強とモデルアンサンブルは、標準的およびドメイン適応設定の両方で検出mAPHを顕著に向上させるか？

主な発見

• 提案されたAFDetモデルは、3D検出トラックで77.11% mAPH/L2を達成し、2位のソリューションを5.59%、3位を11.58%上回った。
• ドメイン適応トラックでは69.49% mAPH/L2を達成し、微調整なしでドメインシフトに対して強い頑健性を示した。
• ポイントペイントと密度化の活用が、特に自転車乗りなどの小さなまたはレアなオブジェクトの検出において顕著な性能向上に寄与した。
• モデルアンサンブルとテスト時増強により、平均してmAPHが2.5–3.5%向上し、WBFが複数モデルの予測を効果的に統合した。
• 適応セットに極めて偏ったクラス分布（訓練セットで自転車のオブジェクトは0.07%、メインセットでは0.78%）がある中でも、モデルの性能は安定していた。
• アンカーフリー設計とエンドツーエンドのキーポイント回帰により、NMSの必要性が排除され、推論が簡素化され、検出の一貫性が向上した。