[論文レビュー] LoGoNet: Towards Accurate 3D Object Detection with Local-to-Global Cross-Modal Fusion

Xin Li, Tao Ma+9 more|arXiv (Cornell University)|Mar 7, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

LoGoNet は、細分化された局所的領域特徴とグローバルなシーンレベル特徴を統合することで、LiDAR-カメラ特徴統合を向上させる、3次元物体検出のための新規な局所からグローバルへのクロスモodal融合フレームワークを提案する。グローバル統合（GoF）、位置符号化されたグリッド特徴を用いた局所統合（LoF）、および特徴動的集約（FDA）を導入することで、LoGoNet は、81.02 mAPH（L2）を達成し、Waymo 3D 物体検出リーダーボードで1位の最先端性能を実現した。

ABSTRACT

LiDAR-camera fusion methods have shown impressive performance in 3D object detection. Recent advanced multi-modal methods mainly perform global fusion, where image features and point cloud features are fused across the whole scene. Such practice lacks fine-grained region-level information, yielding suboptimal fusion performance. In this paper, we present the novel Local-to-Global fusion network (LoGoNet), which performs LiDAR-camera fusion at both local and global levels. Concretely, the Global Fusion (GoF) of LoGoNet is built upon previous literature, while we exclusively use point centroids to more precisely represent the position of voxel features, thus achieving better cross-modal alignment. As to the Local Fusion (LoF), we first divide each proposal into uniform grids and then project these grid centers to the images. The image features around the projected grid points are sampled to be fused with position-decorated point cloud features, maximally utilizing the rich contextual information around the proposals. The Feature Dynamic Aggregation (FDA) module is further proposed to achieve information interaction between these locally and globally fused features, thus producing more informative multi-modal features. Extensive experiments on both Waymo Open Dataset (WOD) and KITTI datasets show that LoGoNet outperforms all state-of-the-art 3D detection methods. Notably, LoGoNet ranks 1st on Waymo 3D object detection leaderboard and obtains 81.02 mAPH (L2) detection performance. It is noteworthy that, for the first time, the detection performance on three classes surpasses 80 APH (L2) simultaneously. Code will be available at \url{https://github.com/sankin97/LoGoNet}.

研究の動機と目的

• 既存のグローバル統合手法が、細分化された領域レベルの情報を欠き、局所的文脈を十分に活用していないという限界を是正すること。
• 点の重心を用いてボクセル位置をより正確に表現することで、LiDAR ポイントクラウドと画像特徴の間のクロスモダリティアライメントを向上させること。
• 局所的（プロポーザルレベル）およびグローバル（シーンレベル）の粒度でマルチモーダル特徴を統合することで、検出精度を向上させること。
• 動的集約モジュールを用いて、局所的およびグローバルに統合された特徴間のより豊富な情報連携を可能にすること。
• 特に Waymo Open Dataset において、主要な 3次元検出ベンチマークで最先端の性能を達成すること。

提案手法

• 点の重心を用いてボクセル位置を表現するグローバル統合（GoF）を提案し、クロスモダリティアライメントを向上させるとともに、画像特徴との可変的クロスアテンションを可能にする。
• 各 3次元プロポーザルを均一なグリッドに分割し、グリッドの中心を画像平面に投影して局所的画像特徴をサンプリングし、位置修飾付きのポイントクラウド特徴と統合する局所統合（LoF）を導入する。
• 各グリッドの空間的および幾何的性質（例：点数、重心）を符号化するための位置情報エンコーダー（PIE）を採用し、正確な局所化と特徴表現を実現する。
• 自己アテンションを用いて、グローバルおよび局所の統合ブランチからの特徴を動的に相互作用させ、特徴を精錬するための特徴動的集約（FDA）モジュールを設計する。
• ROI-グリッドプーリングと可変的クロスアテンションを用いて、プロポーザルレベルでのマルチモーダル特徴の効果的集約を実現し、より精緻な検出を可能にする。
• 2段階検出ヘッドを用い、マルチモーダル特徴の精錬を施した上で、Waymo Open Dataset および KITTI でモデルを訓練および評価する。

実験結果

リサーチクエスチョン

• RQ1 グローバル統合を上回る、局所レベルのクロスモダリティ統合が、細分化された文脈的および幾何的詳細を捉える上で、3次元物体検出性能を向上させ得るか？
• RQ2 ボクセル中心ではなく点の重心を用いることで、LiDAR-カメラ統合におけるクロスモダリティアライメントと検出性能がどのように向上するか？
• RQ3 グローバル統合に加えて、グリッドベースの特徴サンプリングによる局所統合の貢献度は、複雑な 3次元シーンにおいてどのように現れるか？
• RQ4 グローバルおよび局所に統合された特徴間の動的相互作用が、特徴表現および検出精度をさらに向上させ得るか？
• RQ5 提案された LoGoNet フレームワークは、Waymo や KITTI のような大規模ベンチマークで、既存の最先端手法をどの程度上回るか？

主な発見

• LoGoNet は、Waymo Open Dataset で 81.02 mAPH（L2）を達成し、公式の 3次元物体検出リーダーボードで1位となった。
• LoGoNet は、初めて、車両、歩行者、自転車の3クラスすべてにおいて同時に 80 APH（L2）を超える検出性能を達成した。
• アブレーションスタディの結果、GoF、LoF、FDA の各モジュールが顕著に貢献していることが確認された：LoF のみを用いることで、車両、歩行者、自転車の各クラスで mAPH（L2）がそれぞれ 1.22%、2.93%、1.50% 向上した。
• GoF、LoF、FDA の組み合わせにより、単一モーダル RCNN ベースラインに対して、車両、歩行者、自転車の各クラスで mAPH（L2）がそれぞれ 1.85%、3.19%、1.63% 向上した。
• LoF において、より豊富な位置符号化（XYZ+D+R）を用いることで、簡易な符号化と比較して、APH（L2）がそれぞれ 0.12%、0.28%、0.15% 向上し、幾何的詳細の価値が裏付けられた。
• KITTI テストセットでは、LoGoNet は車両で 85.87 mAPH（L2）、自転車で 73.61 mAPH（L2）を達成し、両ベンチマークですべての先行 SOTA 手法を上回った。