[論文レビュー] Exploring Data Augmentation for Multi-Modality 3D Object Detection

Wenwei Zhang, Zhe Wang+1 more|arXiv (Cornell University)|Dec 23, 2020

Advanced Neural Network Applications参考文献 53被引用数 26

ひとこと要約

本論文は、点群と画像間の変換を一貫性を持たせるために、多モodalデータ拡張パイプライン「Transformation Flow」と、新たな拡張手法「MoCa」を提案する。逆転可能で再実行可能な拡張と、遮蔽を考慮したカットアンドペースト操作を可能にすることで、アンサンブル手法を用いない状態でもnuScenesでSOTAを達成し、KITTIでも競争力のある結果を示した。第3回nuScenesチャレンジで最優秀PKL賞を受賞した。

ABSTRACT

It is counter-intuitive that multi-modality methods based on point cloud and images perform only marginally better or sometimes worse than approaches that solely use point cloud. This paper investigates the reason behind this phenomenon. Due to the fact that multi-modality data augmentation must maintain consistency between point cloud and images, recent methods in this field typically use relatively insufficient data augmentation. This shortage makes their performance under expectation. Therefore, we contribute a pipeline, named transformation flow, to bridge the gap between single and multi-modality data augmentation with transformation reversing and replaying. In addition, considering occlusions, a point in different modalities may be occupied by different objects, making augmentations such as cut and paste non-trivial for multi-modality detection. We further present Multi-mOdality Cut and pAste (MoCa), which simultaneously considers occlusion and physical plausibility to maintain the multi-modality consistency. Without using ensemble of detectors, our multi-modality detector achieves new state-of-the-art performance on nuScenes dataset and competitive performance on KITTI 3D benchmark. Our method also wins the best PKL award in the 3rd nuScenes detection challenge. Code and models will be released at https://github.com/open-mmlab/mmdetection3d.

研究の動機と目的

• 豊富な入力データを有するにもかかわらず、多モーダル3D検出器が性能を発揮しない理由を調査すること。
• 異なるモダリティ間の一貫性制約により、多モーダル学習における有効なデータ拡張が不足している問題に対処すること。
• 空間的対応関係を保持しながら、点群と画像の両方で多様で逆転可能な拡張を可能にするフレームワークを開発すること。
• BEVおよび2次元画像ドメインの両方で遮蔽を尊重する物理的妥当性のあるカットアンドペースト拡張法を設計すること。
• アンサンブル検出器を用いない状態で、nuScenesでSOTAの性能を達成し、KITTIでも競争力のある結果を得ること。

提案手法

• Transformation Flowは、点群と画像に適用された逆転可能な変換の順序とパラメータを記録し、複数モーダル間での一貫性のある拡張を可能にする。
• このパイプラインにより、LiDAR空間上の任意の点が、点群変換を逆転させ、画像変換を再実行することで、対応する画像ピクセルにマッピング可能である。
• MoCaは、ビアズ・エイプ（BEV）および2次元画像空間の両方で遮蔽の一貫性を強制する多モーダルカットアンドペースト拡張を導入する。
• MoCaは、ペースト操作中に現実的な遮蔽パターンをシミュレートするために、ランダムな交差領域比（IoF）のしきい値を用いる。
• 本手法は、ランダムなフリップ、スケーリング、回転、トランスレーションといった標準的な単一モーダル拡張を、多モーダル設定でも同等に効果的に適用可能である。
• フレームワークは既存の検出器と互換性があり、事前学習および共同学習戦略を含む訓練パイプラインにスムーズに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 LiDARとRGB画像に基づく多モーダル3D検出器が、単一モーダルのLiDARオンリーメソッドに比べて性能を発揮しないのはなぜか？
• RQ2 データ拡張が不十分であることが、多モーダル3D検出器の性能をどの程度制限しているのか？
• RQ3 点群と画像間の空間的一致性を保ちながら、多モーダル3D検出に効果的にデータ拡張を適用する方法は何か？
• RQ4 特に遮蔽と物理的妥当性の観点から、標準的な拡張技術（例：カットアンドペースト）を多モーダル設定に適用する際の主な課題は何か？
• RQ5 統一的で逆転可能な変換パイプラインは、モダリティの整合性を損なわせることなく、多モーダル3D検出器により豊富な拡張を可能にするか？

主な発見

• 提案された変換フローにより、フリップ、回転、スケーリングなどの多様で逆転可能な拡張（例：点群と画像の両方）を、モダリティ間の一貫性を保証して適用可能である。
• MoCaは、KITTI 3DベンチマークでMVX-NetのmAP（中程度）を11.3%向上させ、nuScenesデータセットでは5.8%向上させ、単一モーダルの対応手法を上回った。
• 強化されたMVX-Netは、クラス特化型アンサンブル検出器を用いない状態で、nuScenesデータセットで新たなSOTA性能を達成した。
• 本手法は第3回nuScenes検出チャレンジで最高のプランニングKLダイバージェンス（PKL）スコアを達成し、後続の計画タスクにおける予測品質の優位性を示した。
• nuImagesで画像ブランチを事前学習すると、Faster R-CNNによる事前学習に比べてNDSが0.7%向上し、ドメイン特化型事前学習の利点を示した。
• 最適化関数の保持と3番目の訓練戦略（ResNet-50バックボーンの凍結）の相乗効果が、アブレーションスタディ全体で最良の性能をもたらした。