[論文レビュー] CAT-Det: Contrastively Augmented Transformer for Multi-modal 3D Object Detection

Yanan Zhang, Jiaxin Chen+1 more|arXiv (Cornell University)|Apr 1, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

CAT-Detは、PointformerとImageformerの二重スティリームアーキテクチャを採用し、長距離の文脈を符号化するためのマルチモーダルトランスフォーマー（CMT）を備えた、対照的かつ拡張されたトランスフォーマーフレームワークを提案する。点群のみにハイアラルチカルコントラスト学習を用いたワンウェイマルチモーダルデータ拡張（OMDA）を導入し、KITTIベンチマークで75.42%のmAPを達成し、PedestrianやCyclistといった難易度の高いクラスの検出精度を顕著に向上させた。

ABSTRACT

In autonomous driving, LiDAR point-clouds and RGB images are two major data modalities with complementary cues for 3D object detection. However, it is quite difficult to sufficiently use them, due to large inter-modal discrepancies. To address this issue, we propose a novel framework, namely Contrastively Augmented Transformer for multi-modal 3D object Detection (CAT-Det). Specifically, CAT-Det adopts a two-stream structure consisting of a Pointformer (PT) branch, an Imageformer (IT) branch along with a Cross-Modal Transformer (CMT) module. PT, IT and CMT jointly encode intra-modal and inter-modal long-range contexts for representing an object, thus fully exploring multi-modal information for detection. Furthermore, we propose an effective One-way Multi-modal Data Augmentation (OMDA) approach via hierarchical contrastive learning at both the point and object levels, significantly improving the accuracy only by augmenting point-clouds, which is free from complex generation of paired samples of the two modalities. Extensive experiments on the KITTI benchmark show that CAT-Det achieves a new state-of-the-art, highlighting its effectiveness.

研究の動機と目的

• LiDAR点群とRGB画像の間のモーダル間乖離を解消する挑戦に応えること。
• 両モーダリティにおいて、長距離のイントラモーダルおよびインタモーダル依存関係を捉えることで特徴表現を向上させること。
• 複雑なペアデータ生成を回避し、モデルの一般化性能を高める有効なデータ拡張戦略を開発すること。
• マルチモーダル3次元オブジェクト検出においてKITTIベンチマークでSOTA性能を達成すること。

提案手法

• CAT-Detは、点群処理にPointformer（PT）ブランチ、画像特徴抽出にImageformer（IT）ブランチを用いた二重スティリームアーキテクチャを採用している。
• クロスモーダルトランスフォーマー（CMT）モジュールを導入し、クロスアテンションと特徴統合を実行することで、細粒度のアテンション重みを用いてモーダル間関係を包括的にモデリングする。
• 点群のみに適用するワンウェイマルチモーダルデータ拡張（OMDA）を用いた階層的コントラスト学習を採用し、点レベルおよびオブジェクトレベルでの拡張により、モデルのロバストネスを向上させた。
• コントラスト学習のネガティブサンプルは、オブジェクトレベルでのメモリバンクを用いて選択され、ペア画像拡張を必要とせずに特徴の識別性を高めた。
• 従来のPointNet++および2次元CNNの代わりにトランスフォーマーを採用することで、より大きな受容 field と優れた文脈モデリングを実現した。
• CMTにおける特徴統合は、単一モーダルおよびクロスモーダル特徴を両方保持しており、単純な連結やアテンションベースの統合よりも優れた性能を示した。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダル3次元オブジェクト検出において、長距離のイントラモーダルおよびインタモーダル依存関係を効果的に捉える方法は何か？
• RQ2 ペアデータ生成が複雑である場合でも、LiDAR（点群）のみにデータ拡張を適用することで、マルチモーダル検出性能を向上させられるか？
• RQ3 点レベルおよびオブジェクトレベルでの階層的コントラスト学習が、モデルの一般化性能および精度に与える影響は何か？
• RQ4 提案されたクロスモーダルトランスフォーマー（CMT）は、連結やアテンションベースの統合といった従来の統合手法と比べてどのように優れているか？
• RQ5 提案フレームワークは、既存のSOTA手法と比較してKITTIベンチマークでどの程度優れているか？

主な発見

• CAT-DetはKITTI 3次元オブジェクト検出ベンチマークで75.42%のmAPを達成し、従来の最高性能を示した手法よりもmAPで3.53%向上した。
• アブレーションスタディの結果、TPI、CMT、OMDAの各モジュールが顕著な寄与を示しており、OMDA単体でもベースラインからmAPが3.53%向上した。
• CMTモジュールは連結やアテンションベースの統合を上回り、TPIと組み合わせた際のmAPは71.89%を達成した。これは、単一モーダルおよびクロスモーダル特徴を両方保持・精錬できる能力に起因する。
• メモリバンクを用いたオブジェクトレベルのコントラスト学習（CA-O-MB）が最も高い性能向上を示し、点レベルのみの拡張と比較してmAPを2.65%向上させた。
• PedestrianやCyclistといった難易度の高いカテゴリにおいても優れた性能を示し、それぞれmAPが7.18%および5.59%向上した。これは、スパarsなまたは遠方のインスタンスに対しても一般化性能が優れていることを示している。
• 可視化結果から、CAT-DetはCMTモジュールを介して両モーダルの補完的特徴を活用し、スパースまたは遠方のオブジェクトの特徴を効果的に強化していることが確認された。