[논문 리뷰] Global-Local Propagation Network for RGB-D Semantic Segmentation

Sihan Chen, Xinxin Zhu외 3명|arXiv (Cornell University)|2021. 01. 26.

Advanced Neural Network Applications참고 문헌 19인용 수 11

한 줄 요약

이 논문은 RGB-D 세분화를 위한 새로운 이중 스트림 인코더-디코더 네트워크인 GLPNet을 제안한다. 이는 국소적 맥락 융합 모듈(L-CFM)을 통해 동적 공간 정렬을 실현하고, 글로벌 맥락 융합 모듈(G-CFM)을 통해 다중 모odal 맥락 모델링을 통한 깊이 특징 전파를 향상시킨다. 이 방법은 원시 깊이 입력을 사용하여 NYU-Depth v2(54.6% mIoU) 및 SUN-RGBD(51.2% mIoU)에서 최신 기술을 초월하는 성능을 달성하며, 이는 이전 방법보다 각 벤치마크에서 2% 이상의 mIoU 향상이다.

ABSTRACT

Depth information matters in RGB-D semantic segmentation task for providing additional geometric information to color images. Most existing methods exploit a multi-stage fusion strategy to propagate depth feature to the RGB branch. However, at the very deep stage, the propagation in a simple element-wise addition manner can not fully utilize the depth information. We propose Global-Local propagation network (GLPNet) to solve this problem. Specifically, a local context fusion module(L-CFM) is introduced to dynamically align both modalities before element-wise fusion, and a global context fusion module(G-CFM) is introduced to propagate the depth information to the RGB branch by jointly modeling the multi-modal global context features. Extensive experiments demonstrate the effectiveness and complementarity of the proposed fusion modules. Embedding two fusion modules into a two-stream encoder-decoder structure, our GLPNet achieves new state-of-the-art performance on two challenging indoor scene segmentation datasets, i.e., NYU-Depth v2 and SUN-RGBD dataset.

연구 동기 및 목표

• 기존의 다단계 특징 융합 방법이 깊은 네트워크 단계에서 깊이 정보를 충분히 활용하지 못하는 한계를 해결하기 위해.
• 이중 스트림 인코더에서 비대칭적인 다운샘플링으로 인해 발생하는 RGB 및 깊이 특징 간의 공간적 비일치를 개선하기 위해.
• 글로벌 맥락 모델링을 통해 깊이 정보가 고수준 표현에 영향을 주도록 하여 RGB 특징의 의미적 가이던스를 향상시키기 위해.
• 국소적 정밀도와 글로벌 맥락을 동시에 활용하는 융합 메커니즘을 설계하여 보다 효과적인 다중 모odal 특징 전파를 실현하기 위해.
• HHA 인코딩에 의존하지 않고도 표준 RGB-D 세분화 벤치마크에서 최신 기술 성능을 달성하기 위해.

제안 방법

• GLPNet는 ResNet-101을 백본으로 사용하는 이중 스트림 인코더-디코더 아키텍처를 채택하며, 초기 단계에서 RGB 및 깊이 입력을 별도로 처리한다.
• 국소적 맥락 융합 모듈(L-CFM)은 컨볼루션 레이어를 통해 공간 오프셋을 예측하고, 이를 바탕으로 특징 워핑을 수행한 후 요소별 덧셈을 수행함으로써 RGB 및 깊이 특징을 동적으로 정렬한다.
• 글로벌 맥락 융합 모듈(G-CFM)은 양 모odal에서 주어진 어텐션 기반 풀링 마스크를 계산하고, 이를 통해 가중치 기반 융합을 통해 깊이 특징을 각 RGB 픽셀에 집계함으로써 다중 모달 글로벌 맥락을 모델링한다.
• L-CFM 및 G-CFM는 최종 인코더 단계에서 병렬로 적용되며, 출력은 연결되어 컨볼루션 블록을 거쳐 디코더에 입력된다.
• 디코더는 FPN 유사 구조를 사용하며 얕은 인코더 단계의 스킵 연결을 활용하고, 융합 전에 특징 차원을 256로 감소시킨다.
• 네트워크는 교차 엔트로피 손실과 DICE 손실을 사용하여 엔드 투 엔드로 훈련되며, 해상도 유지 목적으로 마지막 단계에서 확장 컨볼루션을 사용한다.

실험 결과

연구 질문

• RQ1 RGB 및 깊이 특징 간의 동적 공간 정렬이 깊은 네트워크에서 다중 모달 융합을 향상시킬 수 있는가?
• RQ2 다중 모달 글로벌 맥락을 공동으로 모델링하면 세분화를 위한 깊이 특징 전파가 향상되는가?
• RQ3 국소적 및 글로벌 융합 메커니즘의 조합이 후기 단계 융합에서 기존의 요소별 덧셈 방식을 능가할 수 있는가?
• RQ4 HHA 인코딩을 사용하지 않고 원시 깊이 이미지를 사용할 경우 성능과 효율성이 향상되는가?
• RQ5 제안된 융합 모듈은 다양한 실내 환경 데이터셋에 일반화 가능한가?

주요 결과

• GLPNet는 NYU-Depth v2 테스트 세트에서 54.6% mIoU를 달성하여 이전 최신 기술 방법(SA-Gate)을 2.2%p 초월한다.
• SUN-RGBD 데이터셋에서 GLPNet는 베이스라인 mIoU를 44.0%에서 51.2%로 향상시켜 새로운 최신 기술 성능을 수립한다.
• 절단 분석 결과 L-CFM 및 G-CFM 모두 기여도가 뚜렷한 것으로 확인되었으며, NYU-Depth v2에서 L-CFM은 mIoU를 0.14%p 향상시키고 G-CFM은 1.49%p 향상시켰다.
• K=15 풀링 영역을 가진 G-CFM 변형 버전이 최고 성능(50.31% mIoU)을 기록하여 글로벌 맥락 모델링의 중요성을 입증했다.
• HHA 인코딩에 의존하지 않고 원시 깊이 입력을 사용할 경우 성능 향상과 함께 추론 비용이 감소함을 확인하였으며, 이는 HHA에 의존하는 방법과 비교해도 열등한 결과를 보였다.
• G-CFM 풀링 마스크의 시각화 결과, 모델이 양 모달에서 의미적으로 관련 있는 영역에 주목하는 것을 확인하였으며, 효과적인 어텐션 학습이 이루어졌음을 시사한다.