[논문 리뷰] Real-time Fusion Network for RGB-D Semantic Segmentation Incorporating Unexpected Obstacle Detection for Road-driving Images

Lei Sun, Kailun Yang외 3명|arXiv (Cornell University)|2020. 02. 24.

Advanced Neural Network Applications참고 문헌 47인용 수 9

한 줄 요약

이 논문은 도로 위의 작은 예측 불가능한 장애물을 정확하게 탐지하기 위해 RGB 및 깊이 특징을 적응형 특징 병합(Adaptive Feature Concatenation, AFC) 모듈을 사용해 융합하는 실시간 RGB-D 세분화 네트워크인 RFNet을 제안한다. 이 방법은 도로 주행 환경에서의 정확도를 향상시키며, Cityscapes에서 22 FPS의 속도로 전체 해상도 추론을 수행할 때 mIoU가 72.5%에 이를 수 있으며, 기존 최고 수준의 RGB-D 모델보다 빠른 속도와 높은 정확도를 확보한다. 또한 다중 데이터셋 훈련을 통해 예측 불가능한 장애물 탐지 능력을 강화한다.

ABSTRACT

Semantic segmentation has made striking progress due to the success of deep convolutional neural networks. Considering the demands of autonomous driving, real-time semantic segmentation has become a research hotspot these years. However, few real-time RGB-D fusion semantic segmentation studies are carried out despite readily accessible depth information nowadays. In this paper, we propose a real-time fusion semantic segmentation network termed RFNet that effectively exploits complementary cross-modal information. Building on an efficient network architecture, RFNet is capable of running swiftly, which satisfies autonomous vehicles applications. Multi-dataset training is leveraged to incorporate unexpected small obstacle detection, enriching the recognizable classes required to face unforeseen hazards in the real world. A comprehensive set of experiments demonstrates the effectiveness of our framework. On Cityscapes, Our method outperforms previous state-of-the-art semantic segmenters, with excellent accuracy and 22Hz inference speed at the full 2048x1024 resolution, outperforming most existing RGB-D networks.

연구 동기 및 목표

• 자율주행 응용 분야에 적합한 실시간이고 정확한 RGB-D 세분화 프레임워크를 개발하는 것.
• RGB만으로는 식별하기 어려운 작은 예측 불가능한 도로 장애물(예: 쓰레기, 돌, 벽돌 등)을 탐지하는 데 도전하는 것.
• 특성 없는 또는 모호한 물체(예: 하수구 덮개, 그래피티 등)에 대해 세분화 정확도를 향상시키기 위해 깊이 정보를 효과적으로 통합하는 것.
• 다양한 소스의 훈련을 통해 사전 정의된 클래스를 초월한 세분화 능력을 확장하고, 예측 불가능한 장애물 탐지를 포함하는 것.
• 정확도를 희생시키지 않고도 높은 추론 속도(전체 해상도에서 22 FPS)를 달성하여 실시간 자율주행 시스템에 구현 가능한 것.

제안 방법

• RFNet은 RGB와 깊이 모달리티에 특화된 특징을 추출하기 위해 별도의 RGB 및 깊이 브랜치를 갖춘 이중 스트림 인코더 아키텍처를 사용한다.
• 적응형 특징 병합(Adaptive Feature Concatenation, AFC) 모듈은 다중 스케일에서 RGB 및 깊이 특징을 동적으로 융합하여 두 모달리티의 보완적 특징을 활용한다.
• Cityscapes와 Lost and Found 데이터셋을 포함한 다중 데이터셋 훈련을 통해 표준 데이터셋에 포함되지 않은 작은 예측 불가능한 장애물을 탐지할 수 있도록 한다.
• 모델의 윤곽선과 공간적 이해를 향상시키기 위해 백본에 깊이 스트림을 통합하여 특성 없는 물체의 세분화 정확도를 향상시킨다.
• 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련하고, 효율적인 컨볼루션 블록과 경량 설계를 통해 추론 속도를 최적화한다.
• 모델 정량화를 통해 추론 속도를 가속화하고, 단일 NVIDIA GTX 2080Ti GPU에 배포하여 2048×1024 해상도에서 22 FPS의 성능을 달성한다.

실험 결과

연구 질문

• RQ1 실시간 RGB-D 융합 네트워크는 도로 주행 이미지에서 순수 RGB 기반 방법보다 더 높은 정확도의 세분화 성능을 달성할 수 있는가?
• RQ2 깊이 정보는 RGB에서 시각적으로 모호한 작은 예측 불가능한 장애물(예: 쓰레기, 돌 등)의 탐지에 얼마나 효과적으로 기여하는가?
• RQ3 다중 데이터셋 훈련은 표준 데이터셋에 포함되지 않은 예상치 못한 위험 요소에 대한 일반화 능력을 얼마나 향상시키는가?
• RQ4 융합 네트워크는 Cityscapes와 같은 벤치마크 데이터셋에서 최고 수준의 정확도를 달성하면서도 높은 추론 속도(≥20 FPS)를 유지할 수 있는가?
• RQ5 제안된 AFC 모듈은 RGB 및 깊이 스트림에서 유용한 보완적 특징을 효과적으로 활용하여 세분화 성능을 향상시키는가?

주요 결과

• RFNet은 Cityscapes 검증 세트에서 72.5%의 평균 교차율(mIoU)을 달성하여 이전 최고 수준의 RGB-D 모델들을 능가한다.
• 단일 NVIDIA GTX 2080Ti GPU를 사용해 전체 해상도의 Cityscapes 이미지(2048×1024)에서 22.2 FPS로 실행되며, 대부분의 기존 RGB-D 네트워크를 뛰어넘는 속도를 확보한다.
• RFNet은 하수구 덮개나 그래피티와 같은 물체에서의 오분류를 줄여 SwiftNet과 같은 순수 RGB 기반 모델 대비 작은 장애물 탐지 정확도를 크게 향상시킨다.
• 시각화 연구를 통해 AFC 모듈이 RGB 및 깊이 특징을 효과적으로 조합함으로써 더 명확하고 정확한 특징 맵을 제공함을 확인할 수 있었다.
• 다중 데이터셋 훈련을 통해 표준 데이터셋에 정의되지 않은 예측 불가능한 작은 장애물을 탐지할 수 있었으며, 이는 실제 환경에서의 강인성을 향상시켰다.
• 정성적 결과 분석을 통해 RFNet은 특히 깊이 민감한 영역(예: 도로 윤곽선, 물체 경계 등)에서 더 일관되고 정밀한 세분화 마스크를 생성하는 것으로 나타났다.