[論文レビュー] Real-Time Anchor-Free Single-Stage 3D Detection with IoU-Awareness

Runzhou Ge, Zhuangzhuang Ding+5 more|arXiv (Cornell University)|Jul 29, 2021

Advanced Neural Network Applications参考文献 26被引用数 6

ひとこと要約

本論文は、Waymo Open Dataset Challenge 2021で最先端の性能を達成するリアルタイム、アンカーフリー、シングルステージ3次元物体検出モデル、AFDetV2を提示する。ライトウェイトな3次元特徴抽出器、拡張された受容 field を持つ自己キャリブレーション畳み込みベースのRPN、および新規のIoUに敏感な信頼度ブランチを統合することで、60.06 ms の遅延で73.12 mAPH/L2 を達成し、リアルタイム3次元検出で1位を獲得。また、軽量バージョンでは55.86 ms で72.57 mAPH/L2 を記録し、「最も効率の良いモデル」の称号を獲得した。

ABSTRACT

In this report, we introduce our winning solution to the Real-time 3D Detection and also the "Most Efficient Model" in the Waymo Open Dataset Challenges at CVPR 2021. Extended from our last year's award-winning model AFDet, we have made a handful of modifications to the base model, to improve the accuracy and at the same time to greatly reduce the latency. The modified model, named as AFDetV2, is featured with a lite 3D Feature Extractor, an improved RPN with extended receptive field and an added sub-head that produces an IoU-aware confidence score. These model enhancements, together with enriched data augmentation, stochastic weights averaging, and a GPU-based implementation of voxelization, lead to a winning accuracy of 73.12 mAPH/L2 for our AFDetV2 with a latency of 60.06 ms, and an accuracy of 72.57 mAPH/L2 for our AFDetV2-base, entitled as the "Most Efficient Model" by the challenge sponsor, with a winning latency of 55.86 ms.

研究の動機と目的

• Waymo Open Dataset Challenge 2021 の70msの推論制約を満たすリアルタイム、シングルステージ、アンカーフリー3次元物体検出器を開発すること。
• モデルの複雑さや遅延を増加させずに、特にリアルタイム環境下での挑戦的状況においても検出精度を向上させること。
• 局所化品質と検出信頼度推定を向上させるために、IoUに敏感な信頼度ブランチを導入すること。
• GPUベースのボクセル化パイプラインと軽量な3次元特徴抽出器を活用して推論速度を最適化すること。
• 低遅延を維持しながら最高の mAPH/L2 スコアを達成し、コンテストで最高の評価を獲得すること。

提案手法

• 初期段階の残差ブロックを減らし、チャネル幅を拡大したライトウェイトな3次元特徴抽出器により、計算コストを低減しながら特徴表現を保持する。
• 受容 field を拡大し、効率的なチャネルおよび空間方向の注目を導入するため、RPNに自己キャリブレーション畳み込み（SC-Conv）モジュールを統合する。
• アンカーフリー検出ヘッドに、新規のIoUに敏感な信頼度予測ヘッドを追加し、局所化の信頼度推定を向上させる。
• 訓練の安定化と局所化精度の向上のため、キーポイント補助監視を導入する。
• 点群前処理の遅延を低減するため、GPUアクセcelerated ボクセル化パイプラインを実装する。
• 一般化性能と耐障害性を向上させるために、訓練段階で確率的重み平均化とデータ拡張を適用する。

実験結果

リサーチクエスチョン

• RQ1 アンカーフリー、シングルステージ3次元検出器は、70ms未満のリアルタイム推論を満たしつつ、高い精度をどのように達成できるか？
• RQ2 IoUに敏感な信頼度ブランチは、検出性能および局所化品質にどのような影響を与えるか？
• RQ3 ダウンサンプリングを減らした軽量な3次元特徴抽出器は、検出精度を保持しつつ遅延を低減できるか？
• RQ4 SC-Conv モジュールと補助監視は、モデル性能および訓練安定性にどのように寄与するか？
• RQ5 リアルタイム3次元検出において、モデルサイズ、推論速度、mAPH/L2 精度のトレードオフはどのようなものか？

主な発見

• AFDetV2 は、Waymo Open Dataset のテストセットで 73.12 mAPH/L2 を達成し、遅延は 60.06 ms であった。これにより、リアルタイム3次元検出コンテストで1位を獲得した。
• AFDetV2-Base バージョンは、55.86 ms の遅延で 72.57 mAPH/L2 を達成し、「最も効率の良いモデル」の称号を獲得した。
• IoUに敏感な信頼度ブランチは、他のすべてのモジュールが有効な状態で、ベースラインと比較して mAPH/L2 を 2.79 ポイント向上させた。
• SC-Conv RPN は、ベースラインと比較して 1.06 mAPH/L2 の精度向上を達成し、特徴学習における有効性を示した。
• AFDetV2-Lite バージョンは、46.90 ms の遅延で 69.95 mAPH/L2 を達成し、わずかに 70.00 mAPH/L2 のしきい値を下回ったが、強力な効率性を示した。
• 確率的重み平均化と強化されたデータ拡張は、すべてのモデルバージョンにおいて一般化性能と耐障害性の向上に寄与した。