[논문 리뷰] DCANet: Differential Convolution Attention Network for RGB-D Semantic Segmentation

Lizhi Bai, Jun Yang외 5명|arXiv (Cornell University)|2022. 10. 13.

Advanced Neural Network Applications인용 수 7

한 줄 요약

이 논문은 RGB-D 세분화를 위한 새로운 이중 분지 네트워크인 DCANet을 제안한다. 이는 깊이 데이터에 대해 미분형 합성곱 주의(DCA)를, RGB 데이터에 대해 앙상블 미분형 합성곱 주의(EDCA)를 사용한다. DCA는 픽셀 간 차이를 기반으로 특징을 동적으로 가중하여 국소적 기하 일관성을 포착한다. 반면 EDCA는 RGB 특징 내 장거리 의존성과 공간적 맥락을 모델링한다. DCANet는 뉴욕 대학 RGB-D(NYUDv2) 및 SUN-RGBD 데이터셋에서 다중 척도 테스트 조건에서 각각 53.3% 및 49.6%의 mIoU를 기록하며 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

Combining RGB images and the corresponding depth maps in semantic segmentation proves the effectiveness in the past few years. Existing RGB-D modal fusion methods either lack the non-linear feature fusion ability or treat both modal images equally, regardless of the intrinsic distribution gap or information loss. Here we find that depth maps are suitable to provide intrinsic fine-grained patterns of objects due to their local depth continuity, while RGB images effectively provide a global view. Based on this, we propose a pixel differential convolution attention (DCA) module to consider geometric information and local-range correlations for depth data. Furthermore, we extend DCA to ensemble differential convolution attention (EDCA) which propagates long-range contextual dependencies and seamlessly incorporates spatial distribution for RGB data. DCA and EDCA dynamically adjust convolutional weights by pixel difference to enable self-adaptive in local and long range, respectively. A two-branch network built with DCA and EDCA, called Differential Convolutional Network (DCANet), is proposed to fuse local and global information of two-modal data. Consequently, the individual advantage of RGB and depth data are emphasized. Our DCANet is shown to set a new state-of-the-art performance for RGB-D semantic segmentation on two challenging benchmark datasets, i.e., NYUDv2 and SUN-RGBD.

연구 동기 및 목표

• 기존 RGB-D 융합 방법이 두 모달 간 본질적인 차이점(대부분의 표현 방식과 정보 내용의 차이)을 고려하지 않고 동일하게 처리하는 데서 기인하는 한계를 해결하기 위해.
• 깊이 맵의 국소적 기하 일관성과 RGB 이미지의 전반적 맥락 패턴을 활용하여 특징 표현을 향상시키기 위해.
• 픽셀 간 차이를 기반으로 동적으로 합성곱 가중치를 조정하는 자기 적응형 주의 메커니즘을 개발하여 국소적 및 장거리 특징 학습을 향상시키기 위해.
• 모달별 주의 모듈을 활용하여 RGB-D 세분화에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 중심 픽셀과 그 이웃 픽셀 간의 픽셀 간 차이를 기반으로 동적으로 합성곱 가중치를 조정하는 미분형 합성곱 주의(DCA) 모듈을 제안하여 깊이 맵의 국소적 기하 패턴 포착 능력을 향상시킨다.
• DCA를 확장하여 앙상블 미분형 합성곱 주의(EDCA)를 도입하며, 이는 유사한 동적 가중 메커니즘을 사용하여 RGB 특징의 장거리 의존성과 공간 분포를 통합적으로 모델링한다.
• DCA는 깊이 스트림에, EDCA는 RGB 스트림에 적용되는 이중 분지 네트워크 아키텍처를 설계하여 융합 이전에 모달별 특징 향상이 가능하도록 한다.
• DCA 및 EDCA가 생성하는 학습 가능한 주의 맵을 활용하여 특징 표현을 정밀하게 조정함으로써, 모델이 관련된 공간적 및 기하 패턴에 집중할 수 있도록 한다.
• 구조적 변경 없이도 성능 향상을 위해 다중 척도 추론 전략을 적용한다.
• DCA 및 EDCA를 플러그-앤플레이 모듈로 통합하여 기존 세분화 프레임워크에 쉽게 통합할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 RGB와 깊이 데이터는 기하학적 및 광학적 성질이 상이하므로, 이들의 상호보완적 강점을 효과적으로 활용할 수 있는 방법은 무엇인가?
• RQ2 픽셀 간 차이를 기반으로 한 동적 합성곱 메커니즘이 깊이 맵의 국소적 특징 표현을 향상시킬 수 있는가?
• RQ3 공간적으로 인지된 적응형 주의 메커니즘을 사용하면 RGB 데이터의 장거리 맥락적 의존성을 더 잘 포착할 수 있는가?
• RQ4 모달별 주의 설계는 RGB-D 세분화에서 동일한 융합 전략에 비해 성능 향상에 기여하는가?

주요 결과

• 다중 척도 테스트 조건에서 DCANet는 NYUDv2 테스트 세트에서 53.3%의 mIoU를 기록하며 이전 최고 성능 기록보다 3.7%p 향상되어 새로운 최신 기술 수준(SOTA)을 달성한다.
• SUN-RGBD 데이터셋에서도 다중 척도 테스트 조건에서 DCANet는 49.6%의 mIoU를 기록하며 이전 SOTA 방법보다 1.5%p 높은 성능을 기록한다.
• 절단 분석 결과 DCA는 특히 외관은 유사하지만 깊이가 다름에 따라 구분되는 영역에서 세밀한 기하 패턴을 포착함으로써 깊이 특징 표현을 크게 향상시킨다는 것이 확인되었다.
• EDCA는 RGB 특징의 전반적 맥락 모델링 능력을 효과적으로 향상시켜 어려운 조명 조건이나 가림 현상이 있는 상황에서도 객체 분할 성능을 향상시킨다.
• 주의 맵의 시각화 결과 DCA는 깊이의 국소적 불연속성(예: 물체 경계)에 집중하는 반면, EDCA는 RGB 이미지의 의미적으로 중요한 전반적 구조를 강조하는 것으로 나타났다.
• DCA 및 EDCA의 플러그-앤플레이 설계 덕분에 다양한 백본 아키텍처와 데이터셋에서 일관된 성능 향상이 가능하다.