[논문 리뷰] DFormer: Rethinking RGBD Representation Learning for Semantic Segmentation
DFormer는 RGB-D 백본을 이미지-깊이 쌍으로 사전학습하고(단지 RGB가 아님) RGB와 깊이를 엔코더 내에서 촘촘히 융합하는 RGB-D 블록을 도입하여 RGB-D 시맨틱 세그멘테이션과 RGB-D 주목 객체 탐지에서 최첨단 결과를 달성하되 계산 비용은 더 낮게 유지합니다.
We present DFormer, a novel RGB-D pretraining framework to learn transferable representations for RGB-D segmentation tasks. DFormer has two new key innovations: 1) Unlike previous works that encode RGB-D information with RGB pretrained backbone, we pretrain the backbone using image-depth pairs from ImageNet-1K, and hence the DFormer is endowed with the capacity to encode RGB-D representations; 2) DFormer comprises a sequence of RGB-D blocks, which are tailored for encoding both RGB and depth information through a novel building block design. DFormer avoids the mismatched encoding of the 3D geometry relationships in depth maps by RGB pretrained backbones, which widely lies in existing methods but has not been resolved. We finetune the pretrained DFormer on two popular RGB-D tasks, i.e., RGB-D semantic segmentation and RGB-D salient object detection, with a lightweight decoder head. Experimental results show that our DFormer achieves new state-of-the-art performance on these two tasks with less than half of the computational cost of the current best methods on two RGB-D semantic segmentation datasets and five RGB-D salient object detection datasets. Our code is available at: https://github.com/VCIP-RGBD/DFormer.
연구 동기 및 목표
- 사전학습과 다운스트림 RGB-D 작업 간의 분포 불일치를 피하기 위해 백본 내부에서 직접 RGB-D 표현 학습을 촉진한다.
- 사전학습 및 미세조정 중에 RGB와 깊이 정보를 본래적으로 융합하는 블록을 갖춘 RGB-D 인코더를 설계한다.
- 깊이 채널을 RGB보다 적은 채널로 인코딩해도 성능 저하 없이 모델 크기를 줄일 수 있음을 입증한다.
- 이전 방법들보다 더 낮은 계산량으로 RGB-D 시맨틱 세그멘테이션과 RGB-D 주목 객체 탐지에서 최첨단 성능을 보여준다.
제안 방법
- 이미지-깊이 쌍을 사전학습 입력으로 사용하여 RGB-D 표현을 가능하게 하고 RGB 백본의 불일치를 초래하지 않는 RGB-D 사전학습 프레임워크인 DFormer를 제안한다.
- 각 블록 안에서 교차 모달 상호작용을 수행하는 글로벌 어웨어니스 어텐션(GAA)과 로컬 엔핸스먼트 어텐션(LEA) 모듈을 갖춘 계층적 RGB-D 인코더를 도입한다.
- GAA는 RGB-D 특징에서 다운샘플된 쿼리로 RGB와 깊이를 융합하고 RGB에서 유래한 키/값을 사용하여 계산을 줄인다.
- LEA는 깊이 특징에 대형 커널 깊이별 합성(convolution)을 사용해 관심 가중치를 생성하고 Hadamard 곱으로 RGB 특징을 재가중한다.
- 기본 모듈은 RGB 특징을 변환하고, 융합된 특징은 연결(concatenation)과 선형 프로젝션을 거쳐 RGB 및 깊이 특징을 업데이트한다.
- 사전학습은 깊이 추정기로 생성된 ImageNet-1K 이미지-깊이 쌍을 사용하고 분류 목적과 표준 최적화 설정(AdamW, 1e-3 학습률, 300 에폭)을 따른다.
- 다운스트림 작업을 위해 프리트레이닝된 RGB-D 백본 위에 경량 디코더 헤드를 사용한다(디코더는 분할에 RGB 특징만 사용).
실험 결과
연구 질문
- RQ1RGB-D 사전학습은 이미지-깊이 쌍에서 다운스트림 RGB-D 작업에 대해 전이 가능한 RGB-D 표현을 yield할 수 있는가?
- RQ2RGB-D 블록 내부에 RGB와 깊이 상호작용을 통합하는 것이 듀얼 백본 융합 방식에 비해 효율성과 정확성을 향상시키는가?
- RQ3효율적인 RGB-D 인코딩을 위해 RGB 채널에 비해 깊이 채널 예산은 최적 얼마가 좋은가?
- RQ4RGB-D 프리트레이닝 백본이 RGB-D 시맨틱 세그멘테이션과 RGB-D 주목 객체 탐지 작업에서 감소된 계산량으로 일반화하는가?
주요 결과
- DFormer는 NYU Depthv2에서 새로운 최첨단 mIoU(57.2% with DFormer-L)를 달성하고 SUN-RGBD에서 강한 결과를 보이며, 많은 기존 방법의 계산량의 절반 미만으로 달성한다.
- DFormer-T/S/B/L 변형은 우수한 정확도-계산의 트레이드오프를 제공하며, DFormer-L은 NYU Depthv2에서 57.2% mIoU를 65.7G FLOPs 및 39.0M 매개변수로 달성한다.
- RGB-D 사전학습은 RGB-단독 사전학습 대비 측정 가능한 개선을 보이며(예: DFormer-B는 NYU Depthv2에서 2.3% mIoU 개선).
- 다운스트림 디코더에서 RGB 특징만을 사용해도 경쟁력 있는 성능을 달성하며 더 경량화된 디코더 설계와 더 낮은 추론 비용을 가능하게 한다.
- 깊이 특징은 채널의 일부만 필요하며(기본 설정 비율은 1/2), 강한 결과를 얻으면서도 모델 크기를 줄이고 정확도에 악영향을 주지 않는다.
- 소거 실험은 RGB-D 블록 구성요소(Base, GAA, LEA)가 각각 성능에 기여하며 Hadamard 가중 LEA 융합이 강력한 로컬 심도- RGB 상호작용을 제공한다.
- RGB-D 사전학습은 또한 RGB-T 및 RGB-L 벤치마크를 개선해 RGB-D 데이터를 넘어선 더 넓은 모달리티 상호작용의 이점을 시사한다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.