[논문 리뷰] SpiderMesh: Spatial-aware Demand-guided Recursive Meshing for RGB-T Semantic Segmentation

Siqi Fan, Zhe Wang외 2명|arXiv (Cornell University)|2023. 03. 15.

Advanced Neural Network Applications인용 수 7

한 줄 요약

SpiderMesh는 RGB-T 세분화에서 시각적으로 손상된 영역을 열외 신호를 통해 능동적으로 향상시키기 위해 공간 인식형, 수요 유도형 재귀 메시징 프레임워크를 제안한다. 표적 마스킹과 반복적 특징 정제를 통해 실시간 수요에 따라 열외 신호를 활용한다. ResNet-B4를 사용하여 MFNet과 PST900에서 각각 58.4% mIoU의 최신 기술 성능을 달성하며, 준지도 학습과 신호 손실에 대한 강건성을 제공한다.

ABSTRACT

For semantic segmentation in urban scene understanding, RGB cameras alone often fail to capture a clear holistic topology in challenging lighting conditions. Thermal signal is an informative additional channel that can bring to light the contour and fine-grained texture of blurred regions in low-quality RGB image. Aiming at practical RGB-T (thermal) segmentation, we systematically propose a Spatial-aware Demand-guided Recursive Meshing (SpiderMesh) framework that: 1) proactively compensates inadequate contextual semantics in optically-impaired regions via a demand-guided target masking algorithm; 2) refines multimodal semantic features with recursive meshing to improve pixel-level semantic analysis performance. We further introduce an asymmetric data augmentation technique M-CutOut, and enable semi-supervised learning to fully utilize RGB-T labels only sparsely available in practical use. Extensive experiments on MFNet and PST900 datasets demonstrate that SpiderMesh achieves state-of-the-art performance on standard RGB-T segmentation benchmarks.

연구 동기 및 목표

• 저조도 또는 과노출된 RGB 영상에서 흐릿하거나 어두운 영역으로 인해 기존 방법이 성능을 내리기 때문에, 저조도 또는 과노출된 영상에서의 약한 의미 이해 문제를 해결한다.
• 수동적 또는 채널별 교차 모odal 융합의 한계를 극복하기 위해 실시간 수요에 따라 보완이 필요한 영역을 중심으로 하는 능동적인 영역 특화 융합 전략을 도입한다.
• 고비용의 픽셀 수준 애너테이션에 대한 의존도를 줄이기 위해 자연적이고 인위적으로 생성된 광학적 손상 영역을 활용한 준지도 학습을 가능하게 한다.
• 다중 스테이지에서 점진적으로 융합하고 향상시키는 공간 인식형 재귀 메시징을 통해 다중 모달 특징의 정제와 맥락 이해를 향상시킨다.
• 모달리티 신호 손실에 대한 강건성을 확보하기 위해 RGB 또는 열외 입력에서 실패 조건을 시뮬레이션한 상황에서 성능을 평가한다.

제안 방법

• RGB 영상의 광학적 손상 영역을 식별하고, 학습된 수요 맵에 기반해 실시간으로 열외 신호 보완을 요청하는 수요 유도형 표적 마스킹 알고리즘을 제안한다.
• 다중 스테이지에서 점진적으로 융합하고 향상시키는 공간 인식형 재귀 메시징(SRM)을 도입하여 교차 모달 특징을 반복적으로 정제한다.
• 인위적으로 RGB 영상에 광학적 손상 영역을 생성하여 모델이 열외 신호 보완을 학습하도록 유도하는 비대칭 데이터 증강 기법인 M-CutOut을 제안한다.
• 라벨이 지정된 RGB-T 쌍과 라벨이 없는 데이터를 모두 활용하는 준지도 학습 프레임워크를 적용하여 자연적이고 인위적인 영역 보완성을 활용해 일반화 능력을 향상시킨다.
• 공유된 특징 인코더와 모달리티 전용 헤드를 갖춘 다중 브랜치 아키텍처를 설계하여 공동 학습과 모달리티 장애 발생 시 강건성을 확보한다.
• 백본 모델들(예: ResNet-50, -101, -152, MiT-B4)을 활용해 정확도와 계산 복잡도 사이의 트레이드오���을 평가한다.

실험 결과

연구 질문

• RQ1 어떻게 수요 기반 방식으로 RGB 영상의 광학적 손상 영역에서 부족한 맥락적 의미를 열외 신호를 통해 능동적으로 보완할 수 있는가?
• RQ2 반복적이고 공간 인식형 정제를 통해 다중 모달 의미 특징을 최적화하여 픽셀 수준 세분화 정확도를 향상시키는 가장 효과적인 방법은 무엇인가?
• RQ3 M-CutOut과 같은 비대칭 데이터 증강 기법이 실제 신호 열화를 효과적으로 시뮬레이션하고 모델 일반화 능력을 향상시키는 데 기여하는가?
• RQ4 라벨이 지정된 RGB-T 데이터가 부족한 상황에서 인위적이고 자연적인 보완성을 갖춘 준지도 학습이 성능 향상에 얼마나 기여하는가?
• RQ5 제안된 프레임워크는 모달리티 신호 손실에 얼마나 강건한가? 실패 조건에서 RGB 또는 열외 모달리티 중 어느 쪽이 더 신뢰할 수 있는 성능을 제공하는가?

주요 결과

• SpiderMesh는 MiT-B4 백본을 사용하여 MFNet 벤치마크에서 58.4% mIoU를 기록하며 최신 기술 성능을 달성한다.
• 준지도 학습을 통해 라벨이 지정된 이미지 392장만으로도 성능이 2.1% 향상(53.2% → 55.3%)되어 높은 데이터 효율성을 입증한다.
• 표준 CutOut 대비 M-CutOut이 성능을 1.9% 향상시켜 열외 신호 보완을 유도하는 데 효과적임을 확인한다.
• 모달리티 신호 손실 상황에서도 SpiderMesh는 강건성을 유지한다: 하나의 모달리티가 없는 경우에도 주간에는 50.5% mIoU, 야간에는 열외 단일 입력으로 51.1% mIoU를 기록한다.
• 저조도 조건에서는 열외 모달리티가 더 우세하지만, RGB 브랜치는 후기 융합을 통해 이점을 얻어, 공동 모델링이 최종 예측을 향상시킨다는 점을 보여준다.
• SpiderMesh-152는 259.8 GFLOPs로 ResNet-152 기반 베이스라인 대비 정확도와 계산 비용 사이의 유리한 트레이드오프를 제공한다.