[논문 리뷰] Small Obstacle Avoidance Based on RGB-D Semantic Segmentation

Minjie Hua, Yibing Nan외 1명|arXiv (Cornell University)|2019. 08. 30.

Advanced Neural Network Applications참고 문헌 28인용 수 5

한 줄 요약

이 논문은 도로 로봇을 위한 정밀한 소형 장애물 탐지 기능을 구현하기 위해 광학 흐름 감독과 운동 블러 증강을 통합한 이단계 RGB-D 세분화 네트워크를 제안한다. 도로 및 장애물 세분화를 정교화하고 시간적 일관성을 확보함으로써, 실내 및 실외 환경에서 모두 높은 정확도를 달성하며 기존 방법에 비해 소형 장애물 회피 성능을 크게 향상시킨다.

ABSTRACT

This paper presents a novel obstacle avoidance system for road robots equipped with RGB-D sensor that captures scenes of its way forward. The purpose of the system is to have road robots move around autonomously and constantly without any collision even with small obstacles, which are often missed by existing solutions. For each input RGB-D image, the system uses a new two-stage semantic segmentation network followed by the morphological processing to generate the accurate semantic map containing road and obstacles. Based on the map, the local path planning is applied to avoid possible collision. Additionally, optical flow supervision and motion blurring augmented training scheme is applied to improve temporal consistency between adjacent frames and overcome the disturbance caused by camera shake. Various experiments are conducted to show that the proposed architecture obtains high performance both in indoor and outdoor scenarios.

연구 동기 및 목표

• 기존의 범위 기반 및 외관 기반 장애물 탐지 시스템에서 자주 간과되는 소형 장애물을 탐지하는 과제를 해결하기 위해.
• 특히 소형 또는 저대비 장애물에 대해 도로 및 장애물 영역의 세분화 정확도와 안정성을 향상시키기 위해.
• 연속된 영상 프레임 간의 장애물 탐지에서 시간적 일관성을 확보하여 카메라 진동으로 인한 떨림 현상과 임의의 양성 결과를 줄이기 위해.
• 실세계 데이터셋을 기반으로 실내 및 실외 상황 모두에 적용 가능한 견고한 종단 간 장애물 회피 시스템을 개발하기 위해.

제안 방법

• 이중 단계 인코더-디코더 세분화 네트워크를 제안: 먼저 도로 영역을 세분화한 후, 세분화된 도로 영역 내에서 장애물 영역를 정밀하게 보정한다.
• 연속된 프레임 간에 광학 흐름 감독을 적용하여 세분화 예측의 시간적 일관성을 강제로 확보함으로써 깜빡임 현상과 불안정성을 감소시킨다.
• 카메라 진동을 시뮬레이션하고 실제 이미지 열화에 대한 내성을 향상시키기 위해 운동 블러 기반 데이터 증강 기법을 도입한다.
• 세분화 결과에 대해 형태학적 처리를 적용하여 장애물 경계를 정밀하게 다듬고 노이즈를 제거한다.
• 정밀화된 세분화 지도를 기반으로 국소 경로 계획을 수행하여 충돌 없는 경로를 생성한다.
• 단일 영상 또는 스테레오 시각만으로는 달성할 수 없는 더 풍부한 의미적 이해를 위해 RGB 및 깊이 입력을 동시에 사용한다.

실험 결과

연구 질문

• RQ1 이단계 세분화 네트워크가 단일 단계 모델 대비 소형 장애물 탐지 정확도를 향상시키는가?
• RQ2 광학 흐름 감독이 연속된 RGB-D 프레임 간의 장애물 세분화에서 시간적 일관성을 얼마나 향상시키는가?
• RQ3 운동 블러 기반 데이터 증강 기법이 카메라 진동과 이미지 블러에 대한 내성을 향상시키는 데 얼마나 효과적인가?
• RQ4 제안된 시스템은 다양한 조명 조건과 장애물 유형이 존재하는 실내 및 실외 환경에서도 높은 성능을 유지할 수 있는가?

주요 결과

• 운동 블러 데이터 증강 적용 후, 실내 및 실외 데이터셋에서 각각 mIoU가 1.2%와 0.4% 향상되었다.
• 광학 흐름 감독을 통한 결과는 시간적 일관성이 크게 향상되어 연속된 프레임 간 깜빡임 현상과 임의의 양성 결과가 감소하였다.
• 기본 모델인 SegNet, RedNet, PSPNet, DeepLabv3+가 놓친 소형 장애물(예: 벽돌, 잔해 등)을 성공적으로 탐지하였다.
• 지상 진실값과의 하우스도르프 거리로 측정한 경로 계획 정확도는 실내에서 0.15m, 실외에서 0.27m를 기록하여 스테레오 기반 방법을 능가하였다.
• 장애물 탐지율(ODR)은 기존 모델 대비 뚜렷이 높았으며, 세분화 안정성 향상으로 인해 임의의 양성 결과 수(NOFP)가 줄었다.
• 그림 10의 시각적 결과는 복잡한 환경에서도 소형 또는 비정형 장애물이 존재할 경우에도 매끄럽고 충돌 없는 경로를 생성함을 입증한다.