[論文レビュー] MAFF-Net: Filter False Positive for 3D Vehicle Detection with Multi-modal Adaptive Feature Fusion

Zehan Zhang, Ming Zhang+5 more|arXiv (Cornell University)|Sep 23, 2020

Advanced Neural Network Applications参考文献 41被引用数 10

ひとこと要約

本稿では、RGB画像特徴とライダー点群を組み合わせて誤検出を低減する、チャネルアテンションを用いたマルチモーダル適応的特徴統合を備えたエンドツーエンドで1段階的な3D車両検出ネットワーク、MAFF-Netを提案する。KITTIDベンチマークにおいて、既存のマルチモーダル手法よりも高速な推論速度を達成しながら、最先端の性能を示し、誤検出のフィルタリングを著しく改善する。

ABSTRACT

3D vehicle detection based on multi-modal fusion is an important task of many applications such as autonomous driving. Although significant progress has been made, we still observe two aspects that need to be further improvement: First, the specific gain that camera images can bring to 3D detection is seldom explored by previous works. Second, many fusion algorithms run slowly, which is essential for applications with high real-time requirements(autonomous driving). To this end, we propose an end-to-end trainable single-stage multi-modal feature adaptive network in this paper, which uses image information to effectively reduce false positive of 3D detection and has a fast detection speed. A multi-modal adaptive feature fusion module based on channel attention mechanism is proposed to enable the network to adaptively use the feature of each modal. Based on the above mechanism, two fusion technologies are proposed to adapt to different usage scenarios: PointAttentionFusion is suitable for filtering simple false positive and faster; DenseAttentionFusion is suitable for filtering more difficult false positive and has better overall performance. Experimental results on the KITTI dataset demonstrate significant improvement in filtering false positive over the approach using only point cloud data. Furthermore, the proposed method can provide competitive results and has the fastest speed compared to the published state-of-the-art multi-modal methods in the KITTI benchmark.

研究の動機と目的

• 3D車両検出におけるRGB画像特徴の有効な統合の欠如、特に誤検出の低減を目的とする。
• 2次元検出やセグメンテーションタスクに依存しない、高速でエンドツーエンドの1段階的統合ネットワークの設計を目的とする。
• チャネルアテンションを用いた適応的統合により、ノイズや曖昧な画像領域からの干渉を最小限に抑えるライダーと画像特徴の統合を可能とすることを目的とする。
• 真陽性検出率を低下させることなく、誤検出のフィルタリングを向上させることで検出精度を向上させることを目的とする。
• 既存のマルチモーダル3D検出手法と比較して、顕著に高速な推論速度を実現しながらも、競争力ある性能を達成することを目的とする。

提案手法

• MAFF-Netは、RGBおよび点群特徴をそのまま使用することで、PointPillarsアーキテクチャを拡張し、エンドツーエンドで1段階的な3D検出を実現する。
• チャネルアテンションに基づくマルチモーダル適応的特徴統合モジュールは、各モダリティからの特徴の重要度を学習し、動的統合を可能にする。
• 2つの統合戦略を提案する：点単位での高速統合のためのPointAttentionFusion（PAF）と、ピラー単位でのより複雑なマルチモーダル統合のためのDenseAttentionFusion（DAF）。
• PAFは、投影された画像特徴と3次元点群特徴を連結し、チャネルごとのアテンションを適用して不要な特徴を抑制する。
• DAFは、画像、点群、統合特徴を3つのモダリティとして扱い、ピラー全体にわたるアテンションを適用することで、識別性の高い特徴を強化する。
• ネットワークは、中間の2次元検出やセグメンテーション出力を必要とせず、エンドツーエンドで訓練されるため、速度と効率が保証される。

実験結果

リサーチクエスチョン

• RQ1 ライダー点群に基づく3D車両検出において、RGB画像特徴をどのように効果的に活用して誤検出を低減できるか？
• RQ2 2段階的統合手法と比較して、より高速な推論速度を実現しながら、検出精度を維持または向上できる1段階的エンドツーエンドネットワークは可能か？
• RQ3 ノイズの多い画像特徴からの干渉を最小限に抑える適応的でアテンションベースの特徴選択を可能にする統合戦略は何か？
• RQ4 提案手法は、精度と推論速度の両面で、最先端のマルチモーダル3D検出手法と比較してどのように評価できるか？
• RQ5 曖昧な状況下でも、誤検出を著しく低減しつつ、高い真陽性検出率を維持できるか？

主な発見

• DenseAttentionFusionを用いたMAFF-Netは、KITTIテストセットで3D moderateの平均適合率（AP）が85.52%を達成し、ベースラインのPointPillars（74.31% AP）および他のマルチモーダル手法を上回った。
• 本手法は、公開済みのマルチモーダル手法の中で最も高速な推論速度24.00 Hzを達成し、ContFuse（16.70 Hz） や MV3D（2.80 Hz）といった遅延の大きい手法を著しく上回った。
• KITTIテストセットにおいて、MAFF-Netはマルチモーダル手法の中で3D moderateで2位、3D easyで1位を記録し、競争力のある性能を示した。
• 定性的な結果から、MAFF-Netは木の群れやフェンスに似た構造物など、点群で車両に見えると誤検出されやすいケースにおいて、誤検出を効果的に低減していることが確認された。
• 最適でないPointPillarsベースラインを使用しても、MAFF-Netは依然として3D moderate APで1.9%高い性能を示しており、強力なロバストネスと一般化能力を示している。
• 可視化結果から、アテンションモジュールが背景や曖昧な領域を抑制し、統合された点群特徴における車両形状特徴を強化していることが確認された。