[論文レビュー] 3D-MAN: 3D Multi-frame Attention Network for Object Detection

Zetong Yang, Yin Zhou+2 more|arXiv (Cornell University)|Mar 30, 2021

Advanced Neural Network Applications参考文献 35被引用数 4

ひとこと要約

3D-MANは、メモリバンクとマルチビュー整合化・集約モジュールを用いて複数のLiDARフレームからの特徴を統合することで、3Dオブジェクト検出を向上させる3Dマルチフレームアテンションネットワークを提案する。Waymo Open Datasetにおいて、16入力フレームで車両のAPが74.3%に達し、単一フレームおよびマルチフレームベースラインを大きく上回る最先端の性能を達成した。

ABSTRACT

3D object detection is an important module in autonomous driving and robotics. However, many existing methods focus on using single frames to perform 3D detection, and do not fully utilize information from multiple frames. In this paper, we present 3D-MAN: a 3D multi-frame attention network that effectively aggregates features from multiple perspectives and achieves state-of-the-art performance on Waymo Open Dataset. 3D-MAN first uses a novel fast single-frame detector to produce box proposals. The box proposals and their corresponding feature maps are then stored in a memory bank. We design a multi-view alignment and aggregation module, using attention networks, to extract and aggregate the temporal features stored in the memory bank. This effectively combines the features coming from different perspectives of the scene. We demonstrate the effectiveness of our approach on the large-scale complex Waymo Open Dataset, achieving state-of-the-art results compared to published single-frame and multi-frame methods.

研究の動機と目的

• 部分的なLiDARポイントクラウドによる単一フレーム3Dオブジェクト検出の曖昧さを解消すること。
• 複数フレームからの時間的情報を活用することで、部分的に可視性が低い、または高速に移動するオブジェクトの検出精度を向上させること。
• 従来のポイント連結法や再帰的アプローチを凌駕する、効率的でリアルタイム対応可能なマルチフレーム3D検出フレームワークを設計すること。
• 複雑で大規模な自動運転シナリオにおいて、複数フレームに跨るアテンションベースの特徴集約の有効性を実証すること。

提案手法

• 高速単一フレーム検出器（FSD）を用いて、ハンガリアンマッチングに基づく損失関数とマックスプーリングNMSを採用し、リアルタイムで高品質なボックス候補と特徴マップを生成する。
• 直前のフレームからの候補と対応する特徴マップをメモリバンクに保存することで、時間経過に伴うマルチピアスレプレゼンテーションを保持する。
• マルチビュー整合化・集約モジュール（MVAA）は、アテンション機構を用いて、各ターゲット候補に対してメモリバンクから関連する特徴を抽出する。
• 整合化段階では、ターゲット候補をクエリとして用いて、保存済みフレームからの特徴を取得する。一方、集約段階では、各候補ごとに複数フレームに跨る特徴を統合する。
• 特徴の整合性を向上させるために、補助的なクロスビュー損失を導入し、アテンション重みが正例対応を模倣するよう促進する。
• 自己移動補正を適用して、以前のフレームのポイントクラウドを現在のフレームの座標系に合わせることで、一貫性のある特徴統合を可能にする。

Figure 1: Upper row: Potential detections given LiDAR from a single frame demonstrating ambiguity between many reasonable predictions. Lower row: After merging the points aligned across 4 frames, there is more certainty for the correct box prediction.

実験結果

リサーチクエスチョン

• RQ1 アテンションベースの特徴集約により、単一フレーム法やポイント連結法と比較して、3Dオブジェクト検出精度が向上するか？
• RQ2 点のずれが大きな課題となる長時間の時間窓や高速移動オブジェクトに対して、提案された3D-MANモデルはどのように性能を発揮するか？
• RQ3 高速単一フレーム検出器におけるハンガリアンマッチングに基づく損失関数とマックスプーリングNMSの組み合わせが、下流のマルチフレーム統合の品質を向上させるか？
• RQ4 補助的なクロスビュー損失が、メモリバンク内の異なるフレームからの特徴の整合性をどの程度向上させるか？
• RQ5 特に困難な速度カテゴリにおいて、入力フレーム数を増加させても、モデルが性能を維持または向上させられるか？

主な発見

• 16入力フレームでWaymo Open Datasetにおける車両検出で74.3%のAPを達成し、単一フレームベースラインの68.2%を大きく上回った。
• 4フレーム設定において、ポイント連結法より2.0%のAP向上、Relation自己アテンション法より2.4%のAP向上を達成した。
• 入力フレーム数が増加するにつれて性能が安定して向上し、4フレームで72.5%APから16フレームで74.3%APに上昇した。これは、時間軸に跨るスケーラビリティが優れていることを示している。
• 高速移動車両の検出性能も向上し、1フレームでは71.90%（AP）から16フレームでは79.2%（AP）に上昇した。これに対して、ベースライン手法は長時間窓において性能が低下した。
• クロスビュー損失を導入することで、補助損失なしの場合に比べ1.8%、対応損失を用いた場合に比べ1.1%のAP向上を達成し、特徴の整合性向上に有効であることが示された。
• FSDにおけるハンガリアンマッチングに基づく損失関数が、比較されたすべての教師信号戦略の中で最高のAP（72.5%）を達成し、提案品質の優位性を裏付けた。

Figure 2: Framework for 3D-MAN: 3D multi-frame attention network. Given the point cloud for a target frame $t$ , a fast single-frame detector first generates box proposals. These proposals (box parameters) with the feature map (last layer of the backbone network) are inserted into a memory bank that