[論文レビュー] Geometry-aware data augmentation for monocular 3D object detection.

Qing Lian, Botao Ye+3 more|arXiv (Cornell University)|Apr 12, 2021

Advanced Neural Network Applications参考文献 43被引用数 8

ひとこと要約

本論文は、カメラパラメータおよびオブジェクト配置における幾何的シフトをシミュレートすることで、深度推定のロバスト性を向上させる幾何的感度の高いデータ拡張を提案する。画像およびインスタンスレベルの拡張においても3次元幾何を保持することで、KITTIおよびnuScenesベンチマークにおいて顕著な性能向上を達成し、最先端の結果を実現した。

ABSTRACT

This paper focuses on monocular 3D object detection, one of the essential modules in autonomous driving systems. A key challenge is that the depth recovery problem is ill-posed in monocular data. In this work, we first conduct a thorough analysis to reveal how existing methods fail to robustly estimate depth when different geometry shifts occur. In particular, through a series of image-based and instance-based manipulations for current detectors, we illustrate existing detectors are vulnerable in capturing the consistent relationships between depth and both object apparent sizes and positions. To alleviate this issue and improve the robustness of detectors, we convert the aforementioned manipulations into four corresponding 3D-aware data augmentation techniques. At the image-level, we randomly manipulate the camera system, including its focal length, receptive field and location, to generate new training images with geometric shifts. At the instance level, we crop the foreground objects and randomly paste them to other scenes to generate new training instances. All the proposed augmentation techniques share the virtue that geometry relationships in objects are preserved while their geometry is manipulated. In light of the proposed data augmentation methods, not only the instability of depth recovery is effectively alleviated, but also the final 3D detection performance is significantly improved. This leads to superior improvements on the KITTI and nuScenes monocular 3D detection benchmarks with state-of-the-art results.

研究の動機と目的

• モノクローラ画像における不適切な深度推定によって引き起こされる深度回復の不安定性を解消すること。
• カメラパラメータおよびオブジェクト位置における幾何的シフトにさらされた既存の検出器の脆弱性を特定すること。
• 制御された幾何的変化を導入しながらも3次元幾何的関係を保持するデータ拡張技術を開発すること。
• 多様な幾何的変換にさらされた状況下でも一般化性とロバスト性を向上させること。
• 標準的なモノクローラ3次元検出ベンチマーク、KITTIおよびnuScenesにおいて最先端の性能を達成すること。

提案手法

• 焦点距離、受光領域、カメラ位置をランダムに操作することで、幾何的シフトをシミュレートする画像レベルの拡張を提案する。
• 前景オブジェクトを切り取り、異なるシーンに貼り付けることで、空間幾何が変更された新たなトレーニングインスタンスを生成するインスタンスレベルの拡張を導入する。
• オブジェクトのサイズ、位置、深度の間の幾何的関係が拡張中に保持されることで、物理的妥当性を維持する。
• オブジェクトの外観、深度、カメラ幾何の相互作用を明示的にモデル化することで、検出器の一般化能力を向上させる拡張を設計する。
• トレーニング中に提案された拡張を適用し、モデルが多様な幾何的条件下でも一貫した深度推定が行えるように能力を強化する。

実験結果

リサーチクエスチョン

• RQ1 カメラパラメータの幾何的シフトは、既存のモノクローラ3次元検出器の深度推定の信頼性にどのように影響するか？
• RQ2 現在のデータ拡張戦略は、オブジェクトのサイズ、位置、深度の間の幾何的一致性をどの程度損なっているか？
• RQ3 明示的な幾何的感度の高いデータ拡張は、モノクローラ3次元検出における深度回復のロバスト性を向上させられるか？
• RQ4 画像レベルとインスタンスレベルの幾何的拡張は、検出器性能の向上においてどのように比較できるか？
• RQ5 幾何的関係を保持する拡張は、KITTIおよびnuScenesベンチマークにおける最先端性能にどのような影響を及ぼすか？

主な発見

• 提案された幾何的感度の高いデータ拡張技術により、幾何的シフト下での深度回復の不安定性が顕著に低減された。
• KITTIモノクローラ3次元検出ベンチマークにおいて、先行手法を上回る最先端の性能を達成した。
• nuScenesベンチマークでは、3次元検出精度に顕著な向上が見られ、一般化能力の妥当性が裏付けられた。
• 画像レベルとインスタンスレベルの拡張を組み合わせることで、多様なシーン構成においてよりロバストで一貫性のある深度推定が実現した。
• 拡張戦略により、オブジェクトのサイズ、位置、深度の間の幾何的関係が効果的に保持され、モデルの一般化能力が向上した。