[論文レビュー] CMX: Cross-Modal Fusion for RGB-X Semantic Segmentation with Transformers

Jiaming Zhang, Huayao Liu+4 more|arXiv (Cornell University)|Mar 9, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、RGB-Xセマンティックセグメンテーションのための統合的トランスフォーマー基盤のクロスモーダル統合フレームワーク、CMXを提案する。このフレームワークは、深度、赤外線、偏光、イベント、LiDARなど多様なモダリティに一般化可能である。双方向の特徴補正を実現するクロスモーダル特徴補正モジュール（CM-FRM）と、クロスアテンションを用いた長距離コンテキスト交換を可能にする特徴統合モジュール（FFM）を導入することで、9つのベンチマークで最先端の性能を達成した。特に、EventScapeデータセットを用いたRGB-イベントセグメンテーションでは、新たなSOTAを樹立した。

ABSTRACT

Scene understanding based on image segmentation is a crucial component of autonomous vehicles. Pixel-wise semantic segmentation of RGB images can be advanced by exploiting complementary features from the supplementary modality (X-modality). However, covering a wide variety of sensors with a modality-agnostic model remains an unresolved problem due to variations in sensor characteristics among different modalities. Unlike previous modality-specific methods, in this work, we propose a unified fusion framework, CMX, for RGB-X semantic segmentation. To generalize well across different modalities, that often include supplements as well as uncertainties, a unified cross-modal interaction is crucial for modality fusion. Specifically, we design a Cross-Modal Feature Rectification Module (CM-FRM) to calibrate bi-modal features by leveraging the features from one modality to rectify the features of the other modality. With rectified feature pairs, we deploy a Feature Fusion Module (FFM) to perform sufficient exchange of long-range contexts before mixing. To verify CMX, for the first time, we unify five modalities complementary to RGB, i.e., depth, thermal, polarization, event, and LiDAR. Extensive experiments show that CMX generalizes well to diverse multi-modal fusion, achieving state-of-the-art performances on five RGB-Depth benchmarks, as well as RGB-Thermal, RGB-Polarization, and RGB-LiDAR datasets. Besides, to investigate the generalizability to dense-sparse data fusion, we establish an RGB-Event semantic segmentation benchmark based on the EventScape dataset, on which CMX sets the new state-of-the-art. The source code of CMX is publicly available at https://github.com/huaaaliu/RGBX_Semantic_Segmentation.

研究の動機と目的

• 自動運転におけるマルチモーダルセマンティックセグメンテーションの分野で、モダリティに依存しないモデルの不足に対処すること。
• 深度、赤外線、イベント、LiDARなど、多様で補完的なセンシングモダリティを、1つの統合アーキテクチャ内で効果的に統合できること。
• クロスモーダル特徴補正により、低テクスチャ、低照度、高ダイナミックレンジの状況下でも、より高い耐障害性と正確性を実現すること。
• 密集したスパースなデータ統合能力を評価するためのRGB-イベントセマンティックセグメンテーションの新ベンチマークを確立すること。
• 現実世界の自動車認識に適した汎用的で効率的かつ正確なソリューションを開発すること。

提案手法

• RGBとXモダリティ特徴間のクロスアテンションを用いて、チャネルおよび空間的に特徴を補正するクロスモーダル特徴補正モジュール（CM-FRM）を提案する。
• シーケンス・ツー・シーケンスのクロスアテンションとミックスドチャネル埋め込みを備えた特徴統合モジュール（FFM）を採用し、長距離コンテキスト特徴の双方向交換を可能にする。
• RGBおよびXモダリティ入力からの統合的特徴抽出のため、ビジョントランスフォーマー基盤のエンコーダー（例：SegFormer）を用いる。
• すべてのモダリティを同じCMXアーキテクチャで処理することで、モダリティペアごとのアーキテクチャ再設計なしにモダリティに依存しない統合を実現する。
• 密集したスパースなデータ統合を評価する目的で、EventScapeデータセットに基づく新しいRGB-イベントセマンティックセグメンテーションベンチマークを導入する。
• エンド・ツー・エンドでクロスエントロピー損失とDice損失を用い、マルチモーダルセグメンテーションタスクにおけるmIoU最適化を実行する。

実験結果

リサーチクエスチョン

• RQ1 RGBと多様で同一でないモダリティ（例：深度、赤外線、偏光、イベント、LiDAR）を1つの統一モデルで効果的に統合できるか？
• RQ2 クロスモーダル特徴補正により、低テクスチャ、低照度、または高ダイナミックレンジの状況下での性能がどのように向上するか？
• RQ3 特徴補正を伴う双方向クロスアテンションは、単方向または早期統合に比べ、より優れた長距離コンテキストモデリングを実現するか？
• RQ4 CMXは、高レートのイベントデータと標準的なRGB画像を統合するスパース-密なデータ統合に一般化可能か？
• RQ5 複数のベンチマークデータセットにおいて、既存のモダリティ特化型モデルに比べ、CMXはどの程度の性能向上を達成するか？

主な発見

• SegFormer-B5を用いたNYU Depth V2データセットでは、CMXが56.8%のmIoUを達成し、先行手法を上回った。
• EventScapeに基づく新しいRGB-イベントベンチマークでは、CMXが新たなSOTA mIoUを樹立し、スパース-密な統合への優れた一般化能力を示した。
• RGB-赤外線タスクにおいて、CMXはRGBオンリーベースラインに比べて低照度条件下で5.2%のmIoU向上を達成した。
• CM-FRMモジュールにより、LiDidarデータのノイズ感受性が低減され、点群が疎であっても車両の完全かつ正確なセグメンテーションが可能になった。
• SegFormer-B2を用いたCMXは、わずか67.6 GFLOPsで54.1%のmIoUを達成し、リアルタイム応用に適した優れた精度-効率トレードオフを実現した。
• 定性的な結果から、CMXはモダリティ固有の手がかりを用いて、ガラス表面、移動物体、低テクスチャ領域（例：ベッドをソファーとして認識）といった困難なケースを正しくセグメンテーションしていることが確認された。