[논문 리뷰] CAVER: Cross-Modal View-Mixed Transformer for Bi-Modal Salient Object Detection

Youwei Pang, Xiaoqi Zhao외 2명|arXiv (Cornell University)|2021. 12. 04.

Visual Attention and Saliency Detection인용 수 4

한 줄 요약

CAVER는 이중 모odal 색채도 객체 검출(RGB-D 및 RGB-T)를 위한 새로운 교차 모달 시각 혼합 트랜스포머를 제안한다. 상향식 트랜스포머 기반의 정보 전파 경로와 시각 혼합 주의(VMA)를 활용하여 전역적 맥락 모델링과 교차 모달 정렬을 향상시킨다. 패치 단위 토큰 재임bedding(PTRE)과 병렬 채널 주의 브랜치를 도입함으로써 계산 비용을 감소시키면서도 성능을 향상시켜, 다양한 벤치마크에서 최신 기술을 능가한다.

ABSTRACT

Most of the existing bi-modal (RGB-D and RGB-T) salient object detection methods utilize the convolution operation and construct complex interweave fusion structures to achieve cross-modal information integration. The inherent local connectivity of the convolution operation constrains the performance of the convolution-based methods to a ceiling. In this work, we rethink these tasks from the perspective of global information alignment and transformation. Specifically, the proposed \underline{c}ross-mod\underline{a}l \underline{v}iew-mixed transform\underline{er} (CAVER) cascades several cross-modal integration units to construct a top-down transformer-based information propagation path. CAVER treats the multi-scale and multi-modal feature integration as a sequence-to-sequence context propagation and update process built on a novel view-mixed attention mechanism. Besides, considering the quadratic complexity w.r.t. the number of input tokens, we design a parameter-free patch-wise token re-embedding strategy to simplify operations. Extensive experimental results on RGB-D and RGB-T SOD datasets demonstrate that such a simple two-stream encoder-decoder framework can surpass recent state-of-the-art methods when it is equipped with the proposed components. Code and pretrained models will be available at \href{https://github.com/lartpang/CAVER}{the link}.

연구 동기 및 목표

• 지역적 인도적 편향으로 인해 컨볼루션 기반 모델의 이중 모달 색채도 객체 검출 성능에 도달한 한계를 해결하기 위해.
• 트랜스포머를 사용하여 다중 해상도, 다중 모달 특징의 전역적이고 순서에서 순서로의 모델링을 탐색하기 위해.
• 고해상도 특징 맵에서 자기 및 교차 주의의 제곱형 계산 복잡도를 줄이기 위해.
• 하이브리드 주의 및 컨볼루션 피드포워드 네트워크 설계를 통해 전역 맥락과 국소 세부 정보 인식을 향상시키기 위해.
• 공간적 및 채널별 의존성을 동시에 모델링하여 교차 모달 특징 정렬 및 융합을 향상시키기 위해.

제안 방법

• CAVER는 교차 모달 특징 통합을 위한 상향식 트랜스포머 기반 정보 전파 경로를 갖춘 이중 스트림 인코더-디코더 아키텍처를 사용한다.
• 공간적 및 채널별 주의를 조합하여 다양한 모달 간의 전역 의존성을 모델링하는 새로운 시각 혼합 주의(VMA) 메커니즘을 도입한다.
• 주요 주의 블록의 각 행렬 곱셈 이전에 패치 단위 토큰 재임베딩(PTRE)을 적용하여 픽셀 단위 토큰을 패치 단위 토큰으로 집계함으로써 계산과 메모리 소비를 감소시킨다.
• VMA 블록은 채널 간 관계를 모델링하여 특징 표현을 향상시키기 위해 병렬 채널 주의 브랜치를 포함한다.
• 주의 뒤에 컨볼루션 피드포워드 네트워크(FFN)를 사용하여 국소 세부 정보 인식과 특징 정제를 향상시킨다.
• 표준 SOD 손실 함수를 사용하여 RGB-D 및 RGB-T 데이터셋에서 엔드 투 엔드로 훈련되며, 고해상도 특징 처리를 위한 경량 설계를 채택한다.

실험 결과

연구 질문

• RQ1 전역적이고 순서에서 순서로의 모델링을 갖춘 트랜스포머 기반 아키텍처가 이중 모달 색채도 객체 검출에서 컨볼루션 기반 방법을 능가할 수 있는가?
• RQ2 고해상도, 다중 해상도 특징에서 성능을 손상시키지 않고 자기 및 교차 주의의 제곱형 복잡도를 어떻게 줄일 수 있는가?
• RQ3 교차 모달 특징 정렬에서 공간적 및 채널별 맥락을 동시에 모델링하는 것이 SOD에 어떤 영향을 미치는가?
• RQ4 PTRE와 같은 파rameter-free 연산이 계산 비용을 효과적으로 줄일 수 있는가, 동시에 정확도를 유지하거나 향상시킬 수 있는가?
• RQ5 전역 맥락과 국소 세부 정보 인식의 통합이 복잡한 환경에서의 검출 성능에 어떤 영향을 미치는가?

주요 결과

• CAVER는 다양한 RGB-D 및 RGB-T 색채도 객체 검출 벤치마크에서 최신 기술을 능가하는 최고 성능을 달성한다.
• 절단 실험을 통해 얕은 층에서 깊은 층까지 교차 모달 통합 유닛(CMIU)을 제거하면 성능이 일관되게 저하됨을 확인하여, 그 중요성을 입증한다.
• PTRE 패치 크기를 8×8로 설정할 경우 정확도와 계산 비용 사이의 최적의 균형을 이룹니다. 더 작은 또는 더 큰 설정보다 우수한 성능을 보인다.
• PTRE와 VMA를 갖춘 모델는 주의 맵 크기를 1×1로 줄여도 경쟁 가능한 성능을 달성하여 채널-뷰 구성 요소의 효과를 입증한다.
• 시각화 결과 주의 맵이 강력한 전역 의존성 패턴을 학습하고 다양한 모달 간 특징의 구별 능력을 향상시킴을 보여준다.
• 실패 사례 분석을 통해 객체의 모호성, 애너테이션의 일관성 문제, 복잡한 환경에서의 도전 과제를 확인하였으며, 향후 개선이 필요한 분야를 제시한다.