[논문 리뷰] DFTR: Depth-supervised Fusion Transformer for Salient Object Detection

Heqin Zhu, Xu Sun외 4명|arXiv (Cornell University)|2022. 03. 12.

Visual Attention and Saliency Detection인용 수 14

한 줄 요약

이 논문은 추론 시 RGB 입력만을 사용하는 깊이 지도 기반 주목할 만한 객체 검출을 위한 첫 번째 순수 트랜스포머 기반 모델인 DFTR를 제안한다. 추론 시 깊이 입력이 필요하지 않으며, 다중 척도 특징 집합(MFA)과 다중 단계 특징 융합(MFF) 모듈을 도입하고, 한쪽 방향의 다중 수준 지도를 통해 이방향, 주목성 인식 특징 융합을 가능하게 하여, RGB 및 RGB-D 기준 10개의 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Automated salient object detection (SOD) plays an increasingly crucial role in many computer vision applications. By reformulating the depth information as supervision rather than as input, depth-supervised convolutional neural networks (CNN) have achieved promising results on both RGB and RGB-D SOD scenarios with the merits of no requirements for extra depth networks and depth inputs in the inference stage. This paper, for the first time, seeks to expand the applicability of depth supervision to the Transformer architecture. Specifically, we develop a Depth-supervised Fusion TRansformer (DFTR), to further improve the accuracy of both RGB and RGB-D SOD. The proposed DFTR involves three primary features: 1) DFTR, to the best of our knowledge, is the first pure Transformer-based model for depth-supervised SOD; 2) A multi-scale feature aggregation (MFA) module is proposed to fully exploit the multi-scale features encoded by the Swin Transformer in a coarse-to-fine manner; 3) To enable bidirectional information flow across different streams of features, a novel multi-stage feature fusion (MFF) module is further integrated into our DFTR with the emphasis on salient regions at different network learning stages. We extensively evaluate the proposed DFTR on ten benchmarking datasets. Experimental results show that our DFTR consistently outperforms the existing state-of-the-art methods for both RGB and RGB-D SOD tasks. The code and model will be made publicly available.

연구 동기 및 목표

• 주목할 만한 객체 검출을 위한 깊이 지도 학습을 기존의 CNN 아키텍처에서 순수 트랜스포머 아키텍처로 확장한다.
• 추론 시 추가적인 깊이 입력이나 네트워크에 의존하는 기존의 깊이 지도 학습 방법의 한계를 해결한다.
• 다양한 단계에서 이방향, 계층적인 특징 융합을 가능하게 하여 주목성 검출의 특징 표현을 향상시킨다.
• 테스트 시 쌍방향 깊이 맵이 필요하지 않은 경량이며 종단 간 엔드 투 엔드 프레임워크를 개발한다.

제안 방법

• 제안된 DFTR는 RGB 이미지에서 계층적 특징을 추출하기 위해 스위프 트랜스포머 인코더를 사용한다.
• 다중 척도 특징 집합(MFA) 모듈은 거칠기에서부터 세밀한 방식으로 인접한 척도의 특징을 점진적으로 융합한다.
• 다중 단계 특징 융합(MFF) 모듈은 디코더의 여러 단계에서 주목성과 깊이 예측 스트림 간의 이방향 정보 흐름을 가능하게 한다.
• MFF 모듈에 한쪽 방향의 다중 수준 지도(MLS)를 적용하여 학습 중 주목할 만한 영역에 초점을 맞춘다.
• 모델은 주목성 객체 검출과 깊이 맵 예측을 동시에 최적화하며, 추론 시 깊이 입력이 필요 없이 깊이 지도를 활용한다.
• 채널 차원을 줄이고 효율성을 향상시키기 위해 8의 다운샘플링 비율을 가진 선형 투영 레이어를 사용한다.

실험 결과

연구 질문

• RQ1 주목할 만한 객체 검출을 위한 깊이 지도 학습이 순수 트랜스포머 기반 아키텍처로 성공적으로 확장될 수 있는가?
• RQ2 추론 시 깊이 입력이 없이도 다중 척도 및 다중 단계 특징 융합을 어떻게 설계할 수 있는가?
• RQ3 주목성과 깊이 예측 브랜치 간의 이방향 특징 흐름이 검출 정확도에 미치는 영향은 무엇인가?
• RQ4 한쪽 방향의 다중 수준 지도가 네트워크의 다양한 단계에서 특징 학습을 어떻게 향상시키는가?
• RQ5 단일 통합 트랜스포머 기반 모델이 RGB 및 RGB-D SOD 벤치마크에서 최고 성능을 달성할 수 있는가?

주요 결과

• DFTR는 10개의 벤치마크 데이터셋에서 최고 성능을 기록하였으며, RGB 및 RGB-D SOD 작업 모두에서 기존의 모든 CNN 기반 및 트랜스포머 기반 방법을 능가한다.
• 절단 실험을 통해 MFA 및 MFF 모듈이 성능 향상에 크게 기여하며, MFF는 다양한 데이터셋에서 일관된 성능 향상을 보였다.
• 한쪽 방향 다중 수준 지도(MLS) 전략이 가장 우수한 결과를 도출하였으며, 학습 중 주목할 만한 영역에 집중하는 데 효과적임을 입증하였다.
• 스위프 트랜스포머 블록의 깊이를 1로 설정하고 선형 레이어의 다운샘플링 비율을 8로 설정할 경우 최적의 성능을 얻었으며, 이는 표 4에서 확인할 수 있다.
• 모델은 모든 데이터셋에서 가장 높은 $F_\beta$ 및 $S_\beta$ 점수를 기록하였으며, NJU-2K 및 NLPR에서는 $F_\beta$가 0.93를 초과하고, STERE 및 SIP에서는 $S\_\beta$가 0.91 이상을 기록하였다.
• 복잡한 배경을 가진 다양한 데이터셋에서도 뛰어난 성능 유지를 보이며, 모델의 강건성과 일반화 능력을 확인하였다.