[論文レビュー] M3DeTR: Multi-representation, Multi-scale, Mutual-relation 3D Object Detection with Transformers

Tianrui Guan, Jun Wang+5 more|arXiv (Cornell University)|Apr 24, 2021

Advanced Neural Network Applications被引用数 6

ひとこと要約

M3DETRは、M3変換器を用いて、原始的点群、ボクセル、地上視点（BEV）の複数表現、マルチスケール特徴ピラミッド、および点群特徴間の相互関係を統合する、新しいトランスフォーマー基盤の3次元物体検出フレームワークを提案する。KITTIおよびWaymo Open Datasetにおいて最先端の性能を達成し、1フレーム入力で全クラスでmAPを1.48%向上させ、両ベンチマークで1位を獲得した。

ABSTRACT

We present a novel architecture for 3D object detection, M3DeTR, which combines different point cloud representations (raw, voxels, bird-eye view) with different feature scales based on multi-scale feature pyramids. M3DeTR is the first approach that unifies multiple point cloud representations, feature scales, as well as models mutual relationships between point clouds simultaneously using transformers. We perform extensive ablation experiments that highlight the benefits of fusing representation and scale, and modeling the relationships. Our method achieves state-of-the-art performance on the KITTI 3D object detection dataset and Waymo Open Dataset. Results show that M3DeTR improves the baseline significantly by 1.48% mAP for all classes on Waymo Open Dataset. In particular, our approach ranks 1st on the well-known KITTI 3D Detection Benchmark for both car and cyclist classes, and ranks 1st on Waymo Open Dataset with single frame point cloud input. Our code is available at: https://github.com/rayguan97/M3DETR.

研究の動機と目的

• 既存の3次元物体検出器が、原始的点群、ボクセル、地上視点（BEV）といった複数の点群表現を効果的に統合できないという限界を解消すること。
• 表現タイプ間で異なるアーキテクチャや入力フォーマットが引き起こす意味的ギャップを克服すること。
• 点群内の点同士の相互関係を同時にモデリングすることで、細分化された物体や複雑なシーンパターンの検出を向上させること。
• ハイパーパramータの感度に左右されない、統合的でエンド・トゥ・エンドで学習可能なアーキテクチャを設計すること。
• KITTIやWaymo Open Datasetといった標準ベンチマークで、最先端の検出精度を達成すること。

提案手法

• M3DETRは、それぞれ点群データの特定の側面を処理するように設計された3つの専用M3変換器（マルチ表現、マルチスケール、相互関係）を採用する。
• マルチ表現変換器は、マルチヘッド自己注意機構を用いて、原始的点群、ボクセルグリッド、地上視点の特徴を統合し、意味的ギャップを低減する。
• マルチスケール変換器は、特徴ピラミッドを用いて異なる解像度レベルの特徴を集約し、注意機構がクロススケール相関を強化する。
• 相互関係変換器は、マルチヘッド自己注意機構を用いて、点同士の長距離依存関係と関係性をモデリングし、特徴の識別能を向上させる。
• すべてのモジュールは、領域提案ネットワーク（RPN）に続くトランスフォーマー基盤のヘッドによるバウンディングボックス予測を実行する2段階の検出パイプラインに統合される。
• 全アーキテクチャは、表現、スケール、関係性特徴の共同最適化を可能にするクロスアテンション機構を介してエンド・トゥ・エンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 統合的トランスフォーマー基盤アーキテクチャは、原始的点群、ボクセル、BEVといった複数の点群表現を効果的に統合しつつ、特徴の一貫性を維持できるか？
• RQ2 アテンション機構を用いてマルチスケール特徴をモデリングすることで、連結やアップサンプリングに比べて3次元物体検出性能が向上するか？
• RQ3 点同士の相互関係をモデリングすることで、小形または隠蔽された物体の検出精度が向上するか？
• RQ4 提案されたM3DETRアーキテクチャは、変換器の深さ、ヘッド数、サンプリング戦略といったハイパーパramータの変化に対して頑健か？
• RQ5 表現、スケール、関係性の統合的モデリングにより、KITTIおよびWaymo Open Datasetで最先端の性能が達成できるか？

主な発見

• M3DETRはKITTI 3D検出ベンチマークで最先端の性能を達成し、車両および自転車乗りの両クラスで1位を獲得した。
• Waymo Open Datasetでは、前回のSOTAと比較して全クラスでmAPを1.48%向上させ、車両クラスでは2.86%向上した。
• アブレーションスタディの結果、マルチ表現、マルチスケール、相互関係モジュールを組み合わせることで、車両クラスのマイルド難易度でmAPが4.07%向上した。
• 相互関係変換器単体でも、マイルド難易度でmAPが4.47%向上し、その貢献度の大きさが示された。
• M3DETRはハイパーパramータの変化に対して高い頑健性を示し、変化する変換器層数、ヘッド数、提案サンプリングサイズに対しても強力な性能を維持した。
• 可視化結果から、M3DETRはPV-RCNNに比べて誤検出（偽陰性）を低減しており、特に隠蔽が多い複雑なシーンで有効であることが確認された。