[논문 리뷰] RFBNet: Deep Multimodal Networks with Residual Fusion Blocks for RGB-D Semantic Segmentation

Liuyuan Deng, Ming Yang외 3명|arXiv (Cornell University)|2019. 06. 29.

Advanced Neural Network Applications참고 문헌 42인용 수 63

한 줄 요약

RFBNet은 RGB-D 의미론 분할을 위해 RGB 및 깊이 스트림을 융합하기 위한 잔여 융합 블록이 있는 하향식(바텀업) 인터랙티브 융합을 도입하여 RGB-D 의미론적 분할을 달성하고, ScanNet 및 Cityscapes 벤치마크에서 최첨단 결과를 얻습니다.

ABSTRACT

RGB-D semantic segmentation methods conventionally use two independent encoders to extract features from the RGB and depth data. However, there lacks an effective fusion mechanism to bridge the encoders, for the purpose of fully exploiting the complementary information from multiple modalities. This paper proposes a novel bottom-up interactive fusion structure to model the interdependencies between the encoders. The structure introduces an interaction stream to interconnect the encoders. The interaction stream not only progressively aggregates modality-specific features from the encoders but also computes complementary features for them. To instantiate this structure, the paper proposes a residual fusion block (RFB) to formulate the interdependences of the encoders. The RFB consists of two residual units and one fusion unit with gate mechanism. It learns complementary features for the modality-specific encoders and extracts modality-specific features as well as cross-modal features. Based on the RFB, the paper presents the deep multimodal networks for RGB-D semantic segmentation called RFBNet. The experiments on two datasets demonstrate the effectiveness of modeling the interdependencies and that the RFBNet achieved state-of-the-art performance.

연구 동기 및 목표

• RGB 및 깊이 인코더 간의 상호 의존성을 효과적으로 활용하여 견고한 RGB-D 의미론 분할을 유도합니다.
• 상호 작용하는 하향식(bottom-up) 융합 구조와 교차 모달 피처 학습을 가능하게 하는 잔여 융합 블록(RFB)을 제안합니다.
• 성능을 유지하면서 깊이 스트림의 축소를 통해 계산 비용을 줄입니다.
• 실내(ScanNet) 및 실외(Cityscapes) 데이터셋에서 최첨단 성능을 입증합니다.

제안 방법

• RGB 스트림, 깊이 스트림, 상호 작용 스트림의 세 스트림 아키텍처를 도입합니다.
• 두 개의 모달리티별 잔여 단위와 게이트 융합 유닛으로 구성된 잔여 융합 블록(RFB)을 제안하여 보완적인 교차 모달 피처를 학습합니다.
• 상위 계층에서 모달리티를 융합하기 위해 하향식(bottom-up) 상호 작용 메커니즘을 사용하고, GFU가 네-게이트 기작으로 교차 모달 정보를 게이트합니다.
• 깊이 스트림을 축소하여 계산량을 절약하되 RGB 특징과의 융합을 위한 깊이 정렬을 맞춥니다.
• RGB-D 융합을 위한 기본 프레임워크(SSMA)에 RFB를 통합하고 ScanNet 및 Cityscapes에서 평가합니다.

실험 결과

연구 질문

• RQ1 전통적인 초기, 후기 또는 다중 수준 융합 방식과 비교하여 명시적 하향식(bottom-up) 상호 작용 융합이 RGB-D 의미론 분할을 향상시키나요?
• RQ2 잔여 융합 블록이 RGB 및 깊이 인코더 간의 상호 의존성을 효과적으로 모델링하여 분할 정확도를 향상시킬 수 있나요?
• RQ3 깊이 스트림 해상도 축소가 전체 성능과 효율성에 미치는 영향은 무엇인가요?
• RQ4 실내 및 실외 RGB-D 데이터셋에서 RFBNet이 최첨단 방법과 비교하여 어떻게 성능을 나타내나요?

주요 결과

• RFBNet은 ScanNet에서 SSMA 및 FuseNet과 같은 베이스라인을 일관되게 능가하며 59.2% mIoU를 달성합니다.
• Cityscapes에서 ERFNetEnc를 사용한 RFBNet은 테스트에서 69.7% mIoU에 도달하고, AdapNet++를 사용하면 테스트에서 74.8% mIoU에 도달합니다(다중 모달).
• 고찰(실험)에서 게이트가 0.4%의 효율 향상을, RFB를 통한 보완 피처 추가(R 옵션)가 추가로 0.9%의 이득을 가져와 트렁크 전용 추가를 능가합니다.
• 깊이 입력을 축소하면 깊이 기반 계산이 대략 75% 감소하고, 인터랙티브 융합과 결합될 때 완만하거나 양의 효과를 보입니다.
• RFB 구조는 인코더가 정보를 교환하고 교차 모달 피처를 생성하는 동시에 모달리티별 강점을 보존하도록 합니다.