[논문 리뷰] TriTransNet: RGB-D Salient Object Detection with a Triplet Transformer Embedding Network

Zhengyi Liu, Yuan Wang외 3명|arXiv (Cornell University)|2021. 08. 09.

Visual Attention and Saliency Detection참고 문헌 89인용 수 18

한 줄 요약

TriTransNet는 RGB-D 색재성 객체 검출 네트워크에서 고수준 특징을 향상시키기 위해 세 개의 공유 가중치 트랜스포머 인코더를 활용하여 장거리 의존성을 모델링하는 새로운 트리플렛 트랜스포머 임베딩 모듈(TTEM)을 제안한다. 이 방법은 세 스트림 디코더, 스케일 조정, 깊이 정제 모듈을 통합하여 효과적인 다중 모odal 융합을 실현함으로써 기준 데이터셋에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Salient object detection is the pixel-level dense prediction task which can highlight the prominent object in the scene. Recently U-Net framework is widely used, and continuous convolution and pooling operations generate multi-level features which are complementary with each other. In view of the more contribution of high-level features for the performance, we propose a triplet transformer embedding module to enhance them by learning long-range dependencies across layers. It is the first to use three transformer encoders with shared weights to enhance multi-level features. By further designing scale adjustment module to process the input, devising three-stream decoder to process the output and attaching depth features to color features for the multi-modal fusion, the proposed triplet transformer embedding network (TriTransNet) achieves the state-of-the-art performance in RGB-D salient object detection, and pushes the performance to a new level. Experimental results demonstrate the effectiveness of the proposed modules and the competition of TriTransNet.

연구 동기 및 목표

• 자기 주의 메커니즘을 활용하여 U-Net 기반의 RGB-D 이미지에서 색재성 객체 검출의 고수준 특징을 향상시키는 것.
• 기존 U-Net 프레임워크가 특징 수준 간의 장거리 의존성을 포착하는 데 한계가 있음을 해결하는 것.
• 저품질의 깊이 맵으로부터 노이즈를 줄이는 깊이 정제 모듈을 설계하여 깊이 정보를 효과적으로 통합하는 것.
• 세 스트림 디코더를 통해 다중 수준 특징을 효율적으로 융합하여 뛰어난 성능을 달성하는 것.
• 최소한의 계산 비용으로 공유 가중치 트리플렛 트랜스포머가 특징 표현을 향상시키는 효과를 입증하는 것.

제안 방법

• 공유 가중치를 가진 세 개의 표준 트랜스포머 인코더로 구성된 트리플렛 트랜스포머 임베딩 모듈(TTEM)을 제안하며, 이는 고수준 특징 간의 장거리 의존성을 모델링한다.
• TTEM은 전이 레이어와 점진적 업샘플링 융합을 통해 동일한 공간 해상도로 조정된 다중 수준 특징을 처리한다.
• 스케일 조정 모듈은 입력 특징을 정규화하여 훈련 안정성과 수준 간 특징 일관성을 향상시킨다.
• 강화된 TTEM 특징과 저수준 특징을 융합하기 위해 세 스트림 디코더를 설계하여 효과적인 다중 해상도 특징 통합을 가능하게 한다.
• RGB 특징과 융합하기 전에 깊이 특징을 정제하기 위해 깊이 정제 모듈(DPM)을 도입하여 노이즈를 줄이고 모odal 정렬을 향상시킨다.
• 인코더의 여러 단계에서 정제된 깊이 특징을 RGB 특징과 연결하거나 요소별로 더하여 다중 모달 융합을 달성한다.

실험 결과

연구 질문

• RQ1 공유 가중치 트리플렛 트랜스포머는 U-Net 기반의 색재성 객체 검출 프레임워크에서 고수준 특징을 효과적으로 향상시킬 수 있는가?
• RQ2 다중 수준 특징 간의 장거리 의존성을 모델링하면 검출 성능에 어떤 영향을 미치는가?
• RQ3 깊이 맵이 노이즈가 많을 경우 깊이 정제가 RGB-D 색재성 객체 검출에 어떤 영향을 미치는가?
• RQ4 세 스트림 디코더는 다중 수준 특징 융합에서 단일 스트림 디코더보다 어떻게 비교되는가?
• RQ5 제안된 모듈들은 기존 U-Net 아키텍처에 최소한의 계산 비용으로 통합되어 SOTA 성능을 달성할 수 있는가?

주요 결과

• TriTransNet는 NLPR, NJUD2K, SIP, STERE 등 네 가지 주요 RGB-D 색재성 기준 데이터셋에서 최신 기술 성능(SOTA)을 달성했으며, NLPR에서 S-측정값이 0.928, STERE에서 0.927를 기록했다.
• 절연 연구 결과에 따르면 세 스트림 디코더가 성능을 크게 향상시키며, NLPR에서 단일 스트림 디코더보다 S-측정값이 0.005 높고, STERE에서는 0.004 높다.
• 깊이 정제 모듈(DPM)은 기본 요소별 덧셈과 BBS의 DEM 모듈보다 성능을 향상시켜, 기본 모델 대비 NLPR에서 S-측정값이 0.005 높게 나타났다.
• 공유 가중치를 가진 트리플렛 트랜스포머 임베딩 모듈(TTEM)은 TTEM이 없는 모델 대비 NLPR에서 Fβ-스코어가 0.005 향상되어 특징 강화의 효과를 입증했다.
• NLPR에서 평균 절대 오차(MAE)는 0.020, STERE에서는 0.033를 기록하여 픽셀 수준 예측의 높은 정밀도를 보였다.
• NLPR 데이터셋에서 기준 모델 대비 MAE를 0.003 감소시켜 국소화 정확도 향상을 확인했다.