[논문 리뷰] Multi-interactive Siamese Decoder for RGBT Salient Object Detection

Zhengzheng Tu, Zhun Li외 3명|arXiv (Cornell University)|2020. 05. 05.

Visual Attention and Saliency Detection참고 문헌 48인용 수 5

한 줄 요약

이 논문은 RGBT 주목 객체 검출을 위한 멀티인터랙티브 시아모이스 디코더를 제안하며, 다중 수준의 모odal 상호작용과 글로벌 컨텍스트를 모델링하여 특징 학습을 향상시킵니다. 레이블 지도를 활용하고 유효하지 않은 모달리티를 견고하게 처리함으로써 기준 데이터셋에서 최신 기술 수준의 성능을 달성합니다.

ABSTRACT

RGBT salient object detection (SOD) aims to segment the common prominent regions of visible and thermal infrared images. Existing RGBT SOD methods don't fully explore and exploit the potentials of complementarity of different modalities and the global context of image contents, which play a vital role in achieving accurate results. In this paper, we propose a multi-interactive Siamese decoder to mine and model the multi-type interactions for accurate RGBT SOD. In specific, we first encode RGB and thermal image pair into multi-level multi-modal representation. Then, we design a novel Siamese decoder to integrate the multi-level interactions of dual modalities and global contexts. With these interactions, our method works well in diversely challenging scenarios even in the presence of invalid modality. Moreover, the Siamese decoder employs label supervision to drive feature learning in each modality and the modality prejudice is thus suppressed. Finally, we carry out extensive experiments on several benchmark datasets, and the results show that the proposed method achieves the outstanding performance against state-of-the-art algorithms. The source code has released at: this https URL

연구 동기 및 목표

• 기존의 RGBT SOD 방법에서 모달 보완성과 글로벌 컨텍스트의 제한된 활용을 해결하기 위해.
• 유효하지 않거나 열악한 조건에서의 다양한 어려운 상황에서도 정확도를 향상시키기 위해.
• 시아모이스 디코더 아키텍처에서 레이블 지도를 통해 모달 편향을 억제하기 위해.
• 가시 이미지와 열화상 이미지 특징 간의 다중 수준 상호작용을 통합하는 디코더를 설계하기 위해.

제안 방법

• 공유 백본을 사용하여 RGB 및 열화상 이미지 쌍을 다중 수준의 다중 모달 표현으로 인코딩합니다.
• 두 모달 간의 여러 특징 수준에서 다중 유형의 상호작용을 모델링하기 위해 새로운 시아모이스 디코더를 설계합니다.
• 특징 공간 내 장거리 의존성을 향상시키기 위해 글로벌 컨텍스트 모델링을 통합합니다.
• 모달 브랜치 각각에 독립적으로 레이블 지도를 적용하여 모달 특화 편향을 감소시킵니다.
• 크로스 어텐션과 특징 연결 메커니즘을 통해 다중 수준의 상호작용을 학습합니다.
• 모든 성능 예측을 최적화하기 위해 종합 손실 함수를 사용하여 엔드 투 엔드로 아키텍처를 훈련시킵니다.

실험 결과

연구 질문

• RQ1 RGB와 열화상 모달 간의 다중 수준 상호작용을 효과적으로 모델링하여 주목 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 어려운 조건에서 글로벌 컨텍스트 모델링이 RGBT SOD의 성능 향상에 어느 정도 기여하는가?
• RQ3 시아모이스 디코더에서 레이블 지도를 통해 모달 편향을 줄일 수 있고, 이를 통해 강건성이 향상되는가?
• RQ4 한 모달리티가 누락되거나 열악한 경우 제안된 방법의 성능은 어떻게 되는가?
• RQ5 다양한 상호작용 유형(예: 크로스 모달, 글로벌 컨텍스트)이 최종 검출 정확도에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 방법은 RGBT 주목 객체 검출을 위한 여러 기준 데이터셋에서 최신 기술 수준의 성능을 달성합니다.
• 한 모달리티가 유효하지 않거나 열악한 경우에도 강력한 강건성을 보이며 높은 정확도를 유지합니다.
• 다중 수준의 모달 상호작용과 글로벌 컨텍스트 통합은 기준 방법에 비해 성능 향상에 상당한 기여를 합니다.
• 시아모이스 디코더에서의 레이블 지도 적용은 모달 특화 편향을 효과적으로 감소시키고 일반화 능력을 향상시킵니다.
• 풍부한 아블레이션 연구를 통해 각 구성 요소의 효과성이 확인되었으며, 특히 다중 인터랙티브 디코더 설계의 효과성이 뚜렷합니다.
• 소스 코드가 공개되어 재현성과 분야 내 추가 연구를 가능하게 합니다.