[論文レビュー] SpiderMesh: Spatial-aware Demand-guided Recursive Meshing for RGB-T Semantic Segmentation

Siqi Fan, Zhe Wang+2 more|arXiv (Cornell University)|Mar 15, 2023

Advanced Neural Network Applications被引用数 7

ひとこと要約

SpiderMeshは、ターゲットマスクと段階的特徴精錬を用いて、光学的に障害を受ける領域を能動的に熱画像信号で補完する空間認識型で需要誘導型の再帰的メッシュ生成フレームワークを提案する。これは、RGB-Tセマンティックセグメンテーションのためのものであり、ResNet-B4を用いてMFNetとPST900の両ベンチマークでSOTA性能（58.4% mIoU）を達成している。さらに、半教師あり学習を可能にするとともに、信号損失に対しても高い耐性を示す。

ABSTRACT

For semantic segmentation in urban scene understanding, RGB cameras alone often fail to capture a clear holistic topology in challenging lighting conditions. Thermal signal is an informative additional channel that can bring to light the contour and fine-grained texture of blurred regions in low-quality RGB image. Aiming at practical RGB-T (thermal) segmentation, we systematically propose a Spatial-aware Demand-guided Recursive Meshing (SpiderMesh) framework that: 1) proactively compensates inadequate contextual semantics in optically-impaired regions via a demand-guided target masking algorithm; 2) refines multimodal semantic features with recursive meshing to improve pixel-level semantic analysis performance. We further introduce an asymmetric data augmentation technique M-CutOut, and enable semi-supervised learning to fully utilize RGB-T labels only sparsely available in practical use. Extensive experiments on MFNet and PST900 datasets demonstrate that SpiderMesh achieves state-of-the-art performance on standard RGB-T segmentation benchmarks.

研究の動機と目的

• 露出が低すぎたり過剰に露出しているRGB画像における意味理解の劣化という課題に取り組む。これは、従来の手法がぼやけた領域や暗い領域に対して失敗するためである。
• 受動的またはチャネル単位のクロスマダル融合の限界を克服するため、実時間での補償ニーズに従った能動的で領域特化型の融合戦略を導入する。
• 高価なピクセル単位のアノテーションに依存するのを減らすために、自然および人工的に作られた光学的障害領域を活用した半教師あり学習を可能にする。
• 空間認識型再帰的メッシュ生成により、段階的にマルチモーダル特徴を精錬し、文脈理解を向上させる。
• モダリティ信号の喪失に対して耐性を持つようにするため、RGBまたは熱画像入力に故障を模擬した条件下での性能評価を実施する。

提案手法

• RGB画像内の光学的障害領域を特定し、学習済みのニーズマップに基づいて熱画像信号による補償を能動的に要求する需要誘導型ターゲットマスクアルゴリズムを提案する。
• 複数段階にわたり段階的に統合・強化することで、クロスマダル特徴を反復的に精錬する空間認識型再帰的メッシュ生成（SRM）を導入する。
• RGB画像に人工的に光学的障害領域を生成することで、モデルが熱画像信号の補償を学習するのを促す非対称的データ拡張技術M-CutOutを設計する。
• ラベル付きRGB-Tペアとラベルなしデータの両方を活用する半教師あり学習フレームワークを採用し、自然および人工的な領域補完性を活用して一般化性能を向上させる。
• 共有特徴エンコーダーとモダリティ特化型ヘッドを備えたマルチブランチアーキテクチャを採用し、共同学習とモダリティ障害時の耐性を実現する。
• バックボーンモデル（例：ResNet-50, -101, -152, MiT-B4）を適応させ、精度と計算コストのトレードオフを評価する。

実験結果

リサーチクエスチョン

• RQ1 光学的に障害を受けるRGB画像の領域において、熱画像信号を需要駆動型で能動的に補償する方法は何か？
• RQ2 反復的かつ空間認識型の精錬によって、マルチモーダル意味特徴を最適化し、ピクセル単位のセグメンテーション精度を向上させる最適な方法は何か？
• RQ3 M-CutOutのような非対称的データ拡張は、実世界の信号劣化を効果的に模擬でき、モデルの一般化性能を向上させられるか？
• RQ4 ラベル付きRGB-Tデータが限られる状況において、人工的および自然な補完性を有する半教師あり学習が、性能向上にどの程度寄与するか？
• RQ5 提案フレームワークはモダリティ信号の喪失に対してどの程度耐性を示すか？また、故障状態において、RGBまたは熱画像のどちらがより信頼性の高い性能を示すか？

主な発見

• SpiderMeshは、MiT-B4バックボーンを用いてMFNetベンチマークで58.4% mIoUを達成し、SOTA性能を実現した。
• 半教師あり学習により、392枚のラベル付き画像での学習で2.1%の性能向上（53.2% → 55.3%）を達成し、優れたデータ効率性を示した。
• M-CutOutは標準的なCutOutと比較して1.9%の性能向上をもたらし、熱画像信号補償を促進する有効性が裏付けられた。
• モダリティ信号喪失に対しても強固な耐性を示した。1つのモダリティが欠落した状態でも、昼間は50.5% mIoU、夜間は51.1% mIoUの性能を維持した。
• 低照度条件下では熱画像モダリティがより優位に機能したが、RGBブランチは後段融合により恩恵を受け、統合的モデリングが最終予測を向上させることを示した。
• SpiderMesh-152は259.8 GFLOPsで57.9% mIoUを達成し、ResNet-152ベースのベースラインと比較して、精度と計算コストのバランスに優れた性能を示した。