[논문 리뷰] Multi-interactive Feature Learning and a Full-time Multi-modality Benchmark for Image Fusion and Segmentation

Jinyuan Liu, Zhu Liu외 6명|arXiv (Cornell University)|2023. 08. 04.

Advanced Image Fusion Techniques인용 수 6

한 줄 요약

이 논문은 계단식 아키텍처와 계층적 상호작용 주의(지하)를 사용하여 다중 모odal 이미지 융합과 의미적 세그멘테이션을 동시에 최적화하는 다중 상호작용 특징 학습 프레임워크인 SegMiF를 제안한다. 새로운 전 시간 다중 모달 빌드(이하 FMB)에서 SOTA 대비 평균 mIoU 7.66% 향상되었으며, 안개, 비, 저조도 등 실제 환경 조건에서도 뛰어난 시각적 품질과 세그멘테이션 정확도를 입증한다.

ABSTRACT

Multi-modality image fusion and segmentation play a vital role in autonomous driving and robotic operation. Early efforts focus on boosting the performance for only one task, \emph{e.g.,} fusion or segmentation, making it hard to reach~`Best of Both Worlds'. To overcome this issue, in this paper, we propose a extbf{M}ulti- extbf{i}nteractive extbf{F}eature learning architecture for image fusion and extbf{Seg}mentation, namely SegMiF, and exploit dual-task correlation to promote the performance of both tasks. The SegMiF is of a cascade structure, containing a fusion sub-network and a commonly used segmentation sub-network. By slickly bridging intermediate features between two components, the knowledge learned from the segmentation task can effectively assist the fusion task. Also, the benefited fusion network supports the segmentation one to perform more pretentiously. Besides, a hierarchical interactive attention block is established to ensure fine-grained mapping of all the vital information between two tasks, so that the modality/semantic features can be fully mutual-interactive. In addition, a dynamic weight factor is introduced to automatically adjust the corresponding weights of each task, which can balance the interactive feature correspondence and break through the limitation of laborious tuning. Furthermore, we construct a smart multi-wave binocular imaging system and collect a full-time multi-modality benchmark with 15 annotated pixel-level categories for image fusion and segmentation. Extensive experiments on several public datasets and our benchmark demonstrate that the proposed method outputs visually appealing fused images and perform averagely $7.66\%$ higher segmentation mIoU in the real-world scene than the state-of-the-art approaches. The source code and benchmark are available at \url{https://github.com/JinyuanLiu-CV/SegMiF}.

연구 동기 및 목표

• 융합 또는 세그멘테이션을 별도로 최적화하는 기존 방법의 한계를 해결하여 양 측면에서 최적의 성능을 달성하고자 한다.
• 융합 및 세그멘테이션 네트워크 간의 부족한 특징 상호작용 문제를 극복하기 위해 교차 작업 지식 전이를 가능하게 한다.
• 수동 조정 없이도 작업별 손실 기여도를 자동으로 균형 조절할 수 있는 동적 가중치 메커니즘을 개발한다.
• 1500개의 정확히 등록된 이미지 쌍과 15개의 픽셀 수준 카테고리로 구성된 종합적이고 전 시간 다중 모달 벤치마크(FMB)를 구축하여 융합 및 세그멘테이션 연구를 지원한다.
• 안개, 비, 저조도 등 다양한 실제 환경 조건에서도 견고하고 고품질의 이미지 융합과 정확한 의미적 세그멘테이션을 가능하게 한다.

제안 방법

• 양방향 특징 상호작용을 가능하게 하기 위해 융합 하위 네트워크와 세그멘테이션 하위 네트워크를 통합한 계단식 SegMiF 아키텍처를 제안한다.
• 다양한 작업 간의 모odal 특징과 의미 특징 간에 세분화된 다중 헤드 주의 매핑을 수행하는 계층적 상호작용 주의(HIA) 블록을 설계한다.
• 학습 중 각 작업의 손실 기여도를 적응적으로 조정하는 동적 가중치 요소를 도입하여 수동 하이퍼파라미터 조정 없이도 엔드 투 엔드 최적화를 가능하게 한다.
• 1500개의 동기화된 적외선-가시광선 이미지 쌍과 고밀도 픽셀 수준 레이블을 포함한 스마트 다중 웨이브 이중망 시스템을 구현한다.
• HIA를 활용하여 내재된 모달 특징(예: 열화상 세부 정보)을 유지하면서도, 특히 악천후 및 저조도 조건에서 의미 일관성을 향상시킨다.
• 공유 특징 학습과 작업 전용 헤드를 갖춘 다중 작업 학습 기반으로, 세그멘테이션은 융합을 이끄며 융합은 정교화된 특징을 통해 세그멘테이션을 향상시킨다.

실험 결과

연구 질문

• RQ1 이미지 융합과 의미적 세그멘테이션의 공동 최적화가 단일 작업 또는 계단식 접근 방식에 비해 두 작업 모두에서 더 나은 성능을 낼 수 있는가?
• RQ2 모달 특징과 의미 특징을 동시에 보존할 수 있도록 교차 작업 특징 상호작용을 효과적으로 모델링할 수 있는가?
• RQ3 수동 하이퍼파라미터 조정 없이도 동적 손실 가중 전략이 훈련 안정성과 성능 향상에 얼마나 기여할 수 있는가?
• RQ4 밀도 높은 안개, 폭우, 저조도 조건과 같은 실제 환경에서 제안된 방법의 성능은 어떠한가?
• RQ5 고밀도 픽셀 수준 레이블을 갖춘 종합적이고 전 시간 다중 모달 벤치마크는 융합 및 세그멘테이션 연구에 상당한 진전을 이룰 수 있는가?

주요 결과

• 제안된 SegMiF 방법은 FMB 벤치마크에서 SOTA 대비 평균 mIoU 7.66% 향상되었으며, mIoU 54.8%를 기록하여 두 번째로 좋은 방법보다 뛰어난 성능을 보였다.
• MFNet 데이터셋에서도 SegMiF는 두 번째로 좋은 방법보다 1.45% mIoU 향상을 기록하여 다양한 데이터셋에서 일관된 성능 향상을 입증했다.
• 계층적 상호작용 주의(HIA) 메커니즘이 특징 표현을 크게 향상시켰으며, 추론 실험 결과에 따르면 전체 HIA(소암 및 모암 모두 포함)는 FMB에서 mIoU 56.1%를 기록하여 변형 대비 최대 4.2%포인트 높은 성능을 보였다.
• 동적 가중치 요소는 융합 및 세그멘테이션 작업 간의 우수한 균형을 제공하여 수동 조정 및 다른 다중 작업 학습 전략보다도 뛰어난 시각적 품질과 mIoU 성능을 달성했다.
• 시각화 결과는 HIA가 악천후 및 저조도 조건에서 눈에 띄는 적외선 특징(예: 보행자, 차량)을 효과적으로 유지함으로써 노이즈와 간섭을 줄임을 확인했다.
• FMB 벤치마크는 1500개의 정확히 등록된 이미지 쌍과 15개의 픽셀 수준 카테고리로 구성되어 있으며, 다양한 환경과 심각한 기상 조건을 커버하여 융합 및 세그멘테이션 모델의 견고한 평가를 가능하게 한다.