[논문 리뷰] Transformer-based Network for RGB-D Saliency Detection

Yue Wang, Jia Xu외 4명|arXiv (Cornell University)|2021. 12. 01.

Visual Attention and Saliency Detection참고 문헌 44인용 수 6

한 줄 요약

이 논문은 트랜스포머 기반의 네트워크를 제안하여 RGB-D 색재성 탐지에서 다중 스케일, 다중 모odal 특징 융합 및 동일 모달 내 특징 강화를 단일 트랜스포머 디코더만을 사용하여 통합한다. 자기 및 크로스 어텐션 메커니즘을 활용함으로써 전역적으로 장거리 의존성을 포착하여, 단순하고 균일한 아키텍처로 여섯 개의 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

RGB-D saliency detection integrates information from both RGB images and depth maps to improve prediction of salient regions under challenging conditions. The key to RGB-D saliency detection is to fully mine and fuse information at multiple scales across the two modalities. Previous approaches tend to apply the multi-scale and multi-modal fusion separately via local operations, which fails to capture long-range dependencies. Here we propose a transformer-based network to address this issue. Our proposed architecture is composed of two modules: a transformer-based within-modality feature enhancement module (TWFEM) and a transformer-based feature fusion module (TFFM). TFFM conducts a sufficient feature fusion by integrating features from multiple scales and two modalities over all positions simultaneously. TWFEM enhances feature on each scale by selecting and integrating complementary information from other scales within the same modality before TFFM. We show that transformer is a uniform operation which presents great efficacy in both feature fusion and feature enhancement, and simplifies the model design. Extensive experimental results on six benchmark datasets demonstrate that our proposed network performs favorably against state-of-the-art RGB-D saliency detection methods.

연구 동기 및 목표

• RGB-D 색재성 탐지에서 컨볼루션 네트워크(CNN) 기반 방법의 국한된 수용장치로 인한 장거리 의존성 모델링의 한계를 해결하기 위해.
• 특징 융합과 특징 강화를 단일 트랜스포머 기반 아키텍처로 통합하여 모델 설계를 단순화하기 위해.
• 다중 스케일 및 다중 모달 특징의 전역적이고 적응형 융합을 통해 복잡한 환경에서의 성능 향상에 기여하기 위해.
• 균일한 트랜스포머 기반 연산이 복잡한 작업 전용 모듈 없이도 특징 강화 및 융합을 효과적으로 처리할 수 있음을 입증하기 위해.

제안 방법

• 동일 모달 내 다른 스케일에서의 보완 정보를 자기 어텐션을 통해 통합하여 각 스케일의 특징을 강화하는 트랜스포머 기반의 동일 모달 특징 강화 모듈(TWFEM)을 도입한다.
• 크로스 어텐션을 사용하여 다중 스케일 및 RGB와 깊이 모달을 동시에 융합하는 트랜스포머 기반의 특징 융합 모듈(TFFM)을 적용한다.
• TWFEM의 출력을 초기 융합 특징으로 사용하여, TFFM이 모든 공간 위치에서 최종 적응형 융합 특징을 생성하도록 유도한다.
• TWFEM과 TFFM 모두에서 다중 헤드 자기 어텐션 및 크로스 어텐션 메커니즘을 적용하여 모든 위치 간의 장거리 의존성을 모델링한다.
• 아키텍처의 단순성을 확보하기 위해, U-Net이나 순환 모듈과 같은 복잡한 아키텍처를 피하고 오직 트랜스포머 디코더만을 사용한다.
• TWFEM에서 코arse에서 향상된 스케일로의 점진적 강화 전략을 설계하여 표현 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 통합된 트랜스포머 기반 아키텍처가 RGB-D 색재성 탐지에서 특징 강화 및 융합을 위한 다수의 전용 모듈을 효과적으로 대체할 수 있는가?
• RQ2 트랜스포머의 전역적 비국소 어텐션은 다중 스케일, 다중 모달 색재성 탐지에서 국소적 점진적 융합보다 성능 향상에 뚜렷한 기여를 하는가?
• RQ3 트랜스포머를 활용한 점진적 동일 모달 특징 강화가 융합 특징의 품질과 최종 색재성 예측에 어떤 영향을 미치는가?
• RQ4 최소한의 어텐션 중심 아키텍처가 존재하는 이중 스트림 방법보다 더 작은 모델 크기로 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 여섯 개의 벤치마크 RGB-D 색재성 탐지 데이터셋에서 최신 기술 수준 성능을 달성하며, 기존의 SOTA 방법을 초월한다.
• 절단 분석 결과 TWFEM과 TFFM 모두 성능 향상에 기여하며, 특히 TFFM이 전역적이고 적응형 융합을 가능하게 하여 가장 큰 기여를 한다.
• TWFEM에서의 점진적 강화 전략은 인접한 스케일에서의 직접 융합보다 성능 향상에 더 큰 기여를 한다.
• TFFM에서 T=4개의 트랜스포머 블록을 사용할 경우 성능과 효율성 간의 최적 균형을 이룬다. 이 이상의 깊이에서는 성능 향상의 감소가 관찰된다.
• 대부분의 이중 스트림 방법보다 더 작은 크기를 가지며, A2dele와 DANet과 같은 일중 스트림 방법보다 정확도에서 뛰어나지만 더 복잡한 백본을 사용한다.
• 정성적 결과는 혼잡하거나 유사 색상 배경을 가진 복잡한 환경에서도 정확한 색재성 객체 국소화와 정밀한 경계 검출을 보여준다.