[논문 리뷰] Does Thermal Really Always Matter for RGB-T Salient Object Detection?

Runmin Cong, Kepu Zhang외 5명|arXiv (Cornell University)|2022. 10. 09.

Visual Attention and Saliency Detection인용 수 4

한 줄 요약

이 논문은 전역 조도 추정 모듈을 통해 환경 조도에 따라 열화상 모odal의 사용을 적응적으로 조절하는 TNet이라는 새로운 RGB-T 주목 객체 검출 네트워크를 제안한다. 인코딩 단계에서는 의미적 제약 제공자, 디코딩 단계에서는 이중 단계의 국소화/보완 모듈을 활용하여 다중 모달 간 상호작용을 향상시켜, 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, VT5000에서 최대 F-측도 0.895를 기록한다.

ABSTRACT

In recent years, RGB-T salient object detection (SOD) has attracted continuous attention, which makes it possible to identify salient objects in environments such as low light by introducing thermal image. However, most of the existing RGB-T SOD models focus on how to perform cross-modality feature fusion, ignoring whether thermal image is really always matter in SOD task. Starting from the definition and nature of this task, this paper rethinks the connotation of thermal modality, and proposes a network named TNet to solve the RGB-T SOD task. In this paper, we introduce a global illumination estimation module to predict the global illuminance score of the image, so as to regulate the role played by the two modalities. In addition, considering the role of thermal modality, we set up different cross-modality interaction mechanisms in the encoding phase and the decoding phase. On the one hand, we introduce a semantic constraint provider to enrich the semantics of thermal images in the encoding phase, which makes thermal modality more suitable for the SOD task. On the other hand, we introduce a two-stage localization and complementation module in the decoding phase to transfer object localization cue and internal integrity cue in thermal features to the RGB modality. Extensive experiments on three datasets show that the proposed TNet achieves competitive performance compared with 20 state-of-the-art methods.

연구 동기 및 목표

• 열화상 영상이 항상 RGB-T 주목 객체 검출 성능을 향상시킬 수 있는지 여부를 조사하여, 열화상 데이터가 보편적으로 유익하다는 가정에 도전한다.
• 기존 모델들이 RGB-D SOD 방법을 RGB-T SOD에 직접 적용함으로써 깊이와 열화상 모달 간 물리적 및 인지적 차이를 간과하여 성능이 최적화되지 않는 문제를 해결한다.
• 장면 밝기에 따라 열화상 및 RGB 모달의 기여도를 동적으로 조절하는 네트워크를 설계하여, 저조도 조건에서의 강건성을 향상시킨다.
• 인코딩 및 디코딩 단계에 작업별 특화 모듈을 도입하여 의미적 풍부화와 구조적 보완을 통해 다중 모달 특징 간 상호작용을 향상시킨다.
• 열화상 모달의 가치가 맥락에 따라 달라지며, 특히 열화상와 RGB 주목성 간 일치가 없는 장면에서는 균일하게 적용해서는 안 된다는 점을 입증한다.

제안 방법

• 전역 조도 추정(GIE) 모듈은 RGB 이미지의 전역 조도 점수를 예측하여 RGB와 열화상 특징 간 융합 전략을 동적으로 조절한다.
• 인코딩 단계에서 의미적 제약 제공자(SCP)는 고수준 RGB 특징에서 유도된 의미 마스크를 통합하여 열화상 특징을 풍부화시켜 SOD에 대한 열화상 특징의 관련성을 향상시킨다.
• 디코딩 단계에서 이중 단계의 국소화 및 보완(LC) 모듈은 적응형 스킵 연결을 통해 열화상 특징의 국소화 정보와 구조적 무결성을 RGB 특징으로 이전한다.
• LC 모듈은 먼저 열화상 특징을 이용해 RGB 특징 내에서 객체 국소화를 안내하고, GIE 점수를 기반으로 가중치 융합 메커니즘을 적용하여 RGB 특징에 열화상 세부 정보를 보완한다.
• 적응형 스킵 연결 메커니즘은 전역 조도 점수를 사용해 주의 힘 가중치를 계산하여 고정된 덧셈이 아닌, 맥락에 민감한 융합을 가능하게 한다.
• TNet의 전체 아키텍처는 GIE, SCP, LC 모듈을 종합적으로 통합하여 RGB 및 열화상 특징 학습을 위한 엔드 투 엔드 학습 가능한 프레임워크로 구성된다.

실험 결과

연구 질문

• RQ1 열화상 모달이 항상 RGB-T 주목 객체 검출 성능을 향상시키는가, 아니면 성능 저하가 발생할 수 있는 상황이 있는가?
• RQ2 장면 조도 조건에 따라 열화상 모달의 역할을 어떻게 적응적으로 조절할 수 있는가?
• RQ3 RGB-T SOD의 인코딩 및 디코딩 단계에서 가장 효과적인 다중 모달 간 상호작용 메커니즘은 무엇인가?
• RQ4 열화상 특징의 의미적 향상과 열화상에서 RGB로의 구조적 보완은 검출 정확도와 완전성을 향상시킬 수 있는가?
• RQ5 제안된 적응형 융합 메커니즘은 고정 또는 직접 융합 전략에 비해 강건성과 성능 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 TNet는 VT5000 데이터셋에서 최대 F-측도 0.895를 기록하여 20개의 최신 기술 방법을 초월한다.
• 제거 실험 결과, 국소화 안내 단계를 제거하면 F-측도가 0.885로 감소하고, 보완 단계를 제거하면 0.873으로 떨어지며, 두 단계 모두 중요하다는 점을 확인한다.
• 적응형 스킵 연결을 직접 덧셈으로 대체하면 F-측도는 0.895에서 0.882로 감소하고, MAE는 0.033에서 0.037로 증가하여 적응형 융합 메커니즘이 우월함을 입증한다.
• 전역 조도 추정 모듈은 모달 간 상호작용을 효과적으로 조절하며, 이 모듈을 제거할 경우 성능 저하가 관찰된다.
• 실패 케이스 분석 결과, 소형 또는 저대trast, 긴 형태의 객체 탐지에 한계가 있으며, Swin Transformer와 같은 강력한 특징 추출기 도입으로 향후 개선 가능성이 있음이 확인된다.
• 현재의 RGB-T SOD 데이터셋은 주로 주간 장면에 치우쳐 있어, 저조도 및 야간 장면 중심의 새로운 벤치마크가 필요함을 시사한다.