[論文レビュー] MMSFormer: Multimodal Transformer for Material and Semantic Segmentation

M. Reza, Ashley Prater-Bennette+1 more|arXiv (Cornell University)|Sep 7, 2023

Advanced Neural Network Applications参考文献 62被引用数 4

ひとこと要約

本稿では、RGB、偏光、NIR、赤外線、深度など多様な入力モodalitiesからの特徴を効果的に統合するための学習可能で融合ブロックを備えた、新しいマルチモーダルトランスフォーマーモデルMMSFormerを提案する。融合ブロックは並列畳み込み、チャネルアテンション、線形融合を統合し、マルチスケール特徴を捉え、チャネルごとの表現を再キャリブレーションすることで、3つのデータセットで一貫した向上を示し、最先端の性能を達成する。

ABSTRACT

Leveraging information across diverse modalities is known to enhance performance on multimodal segmentation tasks. However, effectively fusing information from different modalities remains challenging due to the unique characteristics of each modality. In this paper, we propose a novel fusion strategy that can effectively fuse information from different modality combinations. We also propose a new model named Multi-Modal Segmentation TransFormer (MMSFormer) that incorporates the proposed fusion strategy to perform multimodal material and semantic segmentation tasks. MMSFormer outperforms current state-of-the-art models on three different datasets. As we begin with only one input modality, performance improves progressively as additional modalities are incorporated, showcasing the effectiveness of the fusion block in combining useful information from diverse input modalities. Ablation studies show that different modules in the fusion block are crucial for overall model performance. Furthermore, our ablation studies also highlight the capacity of different input modalities to improve performance in the identification of different types of materials. The code and pretrained models will be made available at https://github.com/csiplab/MMSFormer.

研究の動機と目的

• 既存の手法が特定のモダリティペアに限定され、2つ以上のモダリティを統合できないという課題に、異種のマルチモーダルデータをセグメンテーションタスクで統合することに取り組む。
• アーキテクチャの再設計なしに、任意の組み合わせの入力モダリティを処理できる柔軟で汎用的な統合メカニズムを設計すること。
• 多様な画像モダリティからの補完的情報を体系的に活用することで、材料および意味的セグメンテーションの精度を向上させること。
• アブレーションスタディを通じて、個々のモダリティが特定の材料クラスの認識にどのように寄与しているかを分析すること。

提案手法

• MMSFormerは、各入力モダリティからの階層的特徴を抽出するために、モダリティ固有のビジョントランスフォーマーエンコーダーを採用する。
• 新規の融合ブロックは、モダリティ間の特徴をチャネル次元に沿って連結し、線形融合層を適用してそれらを統合する。
• 統合された特徴は、異なるカーネルサイズの並列畳み込み層を通じて処理され、マルチスケールの空間表現を捉える。
• チャネルごとの特徴再キャリブレーションは、残差スキップ接続に適用されたSqueeze-and-Excitationブロックにより、動的チャネル重み付けを実現する。
• 統合され強化された特徴は、MLPベースのデコーダーに渡され、ピクセル単位のセグメンテーションマップが生成される。
• モデルはクラスバランスを考慮した交差エントロピー損失を用いてエンドツーエンドで訓練され、推論は任意のモダリティ組み合わせをサポートする。

実験結果

リサーチクエスチョン

• RQ1 統一された融合ブロックは、例えばRGB、AoLP、DoLP、NIR、赤外線などの多様で異種のモダリティ組み合わせを、1つのアーキテクチャ内で効果的に統合できるか？
• RQ2 単一モダリティから始めて、追加のモダリティが導入されるごとに、モデルの性能がどのように段階的に向上するか？
• RQ3 融合ブロックの各構成要素（並列畳み込み、チャネルアテンション、線形融合）のうち、性能に最も寄与しているのはどれで、それぞれの貢献度は何か？
• RQ4 特定の材料クラスはどのモダリティによって最も利益を受けており、それらの材料の固有の物理的特性とモダリティ感受性にはどのような関係があるか？

主な発見

• MMSFormerは、3つのベンチマークデータセット（MCubeS（材料セグメンテーション）、FMB（RGB赤外線）、PST900（RGB赤外線））において、すべてのモダリティ組み合わせで新たな最先端性能を達成した。
• 追加のモダリティが導入されるごとに性能が段階的に向上し、新たな入力からの有用で補完的な情報を融合ブロックが効果的に統合できることを示した。
• アブレーションスタディの結果、並列畳み込み層を削除するとmIoUが4.51%低下し、マルチスケール特徴を捉える上で極めて重要な役割を果たしていることが示された。
• チャネルアテンション機構は顕著な貢献を示しており、削除すると5.36%の性能低下が生じ、チャネルごとの特徴重要度の再キャリブレーションにおいて重要であることが示された。
• 線形層を除いたすべての融合部品を削除した場合、9.25%の性能低下が発生し、融合ブロック全体のアーキテクチャの必要性が裏付けられた。
• NIRモダリティはアスファルト、コンクリート、プラスチック、玄関石、人間のクラスのセグメンテーションを顕著に向上させた。一方、AoLPおよびDoLPはガラス、木材、ラバーマテリアルの検出を強化した。