[논문 리뷰] RoadNet-v2: A 10 ms Road Segmentation Using Spatial Sequence Layer.

Yecheng Lyu, Xinming Huang|arXiv (Cornell University)|2018. 08. 10.

Advanced Neural Network Applications참고 문헌 12인용 수 7

한 줄 요약

RoadNet-v2는 효율적인 도로 세그멘테이션을 위한 이미지 처리에 순환 신경망(RNN) 원리를 통합하는 새로운 공간 순차 레이어를 제안한다. 컨볼루션 레이어와 공간 순차 레이어를 조합함으로써 KITTI 및 Cityscapes 벤치마크에서 프레임당 10ms의 실시간 추론을 달성하며, 최신 기술 수준의 정확도를 유지하면서도 계산 비용을 크게 감소시킨다.

ABSTRACT

In automated driving systems (ADS) and advanced driver-assistance systems (ADAS), an efficient road segmentation module is required to present the drivable region and to build an occupancy grid for path planning components. The existing road algorithms build gigantic convolutional neural networks (CNNs) that are computationally expensive and time consuming. In this paper, we explore the usage of recurrent neural network (RNN) in image processing and propose an efficient network layer named spatial sequence. This layer is then applied to our new road segmentation network RoadNet-v2, which combines convolutional layers and spatial sequence layers. In the end, the network is trained and tested in KITTI road benchmark and Cityscapes dataset. We claim the proposed network achieves comparable accuracy to the existing road segmentation algorithms but much faster processing speed, 10 ms per frame.

연구 동기 및 목표

• 대규모 컨볼루션 신경망(CNN) 기반 기존 도로 세그멘테이션 모델의 계산 비효율성을 해결하기 위해.
• 도로 세그멘테이션 작업을 위한 이미지 처리에 순환 신경망(RNN)의 응용을 탐색하기 위해.
• 자동 주행 시스템에서 실시간 추론을 가능하게 하는 경량이면서도 정확한 세그멘테이션 네트워크를 설계하기 위해.
• 프레임당 10ms로 추론 시간을 단축시키면서도 최신 기술 수준의 모델과 비교해 높은 정확도를 달성하기 위해.

제안 방법

• 특징 맵의 공간 차원을 따라 RNN 유사 반복을 적용하는 공간 순차 레이어를 도입하여 장거리 의존성을 효율적으로 모델링한다.
• 표준 컨볼루션 레이어와 공간 순차 레이어를 조합하여 엔드 투 엔드 도로 세그멘테이션을 위한 하이브리드 아키텍처를 구성한다.
• 표준 세그멘테이션 손실 함수를 사용하여 KITTI 도로 벤치마크와 Cityscapes 데이터셋에서 지도 학습을 수행한다.
• 파rameter 수와 계산 연산 수를 최소화하여 추론 속도 향상을 위한 네트워크 아키텍처 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 공간 차원을 따라 RNN 기반 반복이 정확도를 희생시키지 않고 도로 세그멘테이션 효율성을 향상시킬 수 있는가?
• RQ2 표준 컨볼루션 레이어와 비교해 제안된 공간 순차 레이어는 도로 세그멘테이션의 공간적 맥락을 어떻게 모델링하는가?
• RQ3 RoadNet-v2 모델의 표준 벤치마크에서의 추론 속도는 얼마이며, 자동 주행 시스템의 실시간 요구 조건을 충족하는가?
• RQ4 공간 순차 레이어를 사용하는 경량 네트워크는 더 큰 CNN 기반 모델과 비교해 성능을 유사하게 달성할 수 있는가?

주요 결과

• RoadNet-v2는 프레임당 10ms의 추론 속도를 확보하여 자동 주행 시스템에 구현 가능한 실시간 도로 세그멘테이션을 가능하게 한다.
• 모델은 KITTI 및 Cityscapes 벤치마크에서 최신 기술 수준의 도로 세그멘테이션 알고리즘과 동등한 정확도를 달성한다.
• 공간 순차 레이어의 통합으로 기존의 깊은 CNN보다 모델 복잡성과 계산 부담이 감소한다.
• 제안된 아키텍처는 RNN 기반 공간 모델링이 유리한 속도-정확도 트레이드오프를 제공하는 바람직한 성능을 달성할 수 있음을 보여준다.