[논문 리뷰] DSNet: An Efficient CNN for Road Scene Segmentation

Ping-Rong Chen, Hsueh‐Ming Hang외 2명|arXiv (Cornell University)|2019. 04. 10.

Advanced Neural Network Applications참고 문헌 36인용 수 6

한 줄 요약

DSNet는 경량이며 효율적인 CNN 아키텍처를 제안하여 실시간 도로 환경 세분화를 구현한다. 이는 DenseNet, ResNet, FCN의 유리한 요소를 조합하여 높은 정확도를 낮은 계산 비용으로 달성한다. GTX 1080Ti에서 도시스케이프 데이터셋에서 68 FPS(이미지당 0.0147초)로 실시간 추론을 구현하며 mIoU는 69.1%를 기록하여 경쟁력 있는 정확도를 유지한다.

ABSTRACT

Road scene understanding is a critical component in an autonomous driving system. Although the deep learning-based road scene segmentation can achieve very high accuracy, its complexity is also very high for developing real-time applications. It is challenging to design a neural net with high accuracy and low computational complexity. To address this issue, we investigate the advantages and disadvantages of several popular CNN architectures in terms of speed, storage and segmentation accuracy. We start from the Fully Convolutional Network (FCN) with VGG, and then we study ResNet and DenseNet. Through detailed experiments, we pick up the favorable components from the existing architectures and at the end, we construct a light-weight network architecture based on the DenseNet. Our proposed network, called DSNet, demonstrates a real-time testing (inferencing) ability (on the popular GPU platform) and it maintains an accuracy comparable with most previous systems. We test our system on several datasets including the challenging Cityscapes dataset (resolution of 1024x512) with an mIoU of about 69.1 % and runtime of 0.0147 second per image on a single GTX 1080Ti. We also design a more accurate model but at the price of a slower speed, which has an mIoU of about 72.6 % on the CamVid dataset.

연구 동기 및 목표

• 실시간 자율 주행 응용을 위한 높은 세분화 정확도를 달성하면서도 계산 복잡도가 낮은 합성곱 신경망을 설계하기 위해.
• FCN, ResNet, DenseNet과 같은 인기 있는 CNN 아키텍처들 간의 속도, 메모리 사용량, 정확도 간의 상호 상충 관계를 분석하고 비교하기 위해.
• 기존 아키텍처들에서 가장 효과적인 구성 요소를 식별하고 새로운 효율적인 네트워크 아키텍처에 통합하기 위해.
• 표준 GPU 하드웨어에서 정밀도를 희생시키지 않고도 실시간 추론을 가능하게 하는 모델을 개발하기 위해.

제안 방법

• 저자들은 VGG를 베이스라인으로 사용하는 완전 컨volution 네트워크(FCN)에서 출발하여, 도로 환경 세분화에 대해 ResNet과 DenseNet을 체계적으로 평가한다.
• 특히 밀집 연결과 특징 재사용과 같은 유리한 아키텍처 구성 요소를 DenseNet에서 추출하여 파라미터 수와 계산 부담을 감소시킨다.
• 최종적인 DSNet 아키텍처는 효율적인 구성 요소들을 통합하여 의미 세분화에 최적화된 간결한 인코더-디코더 구조로 구성된다.
• 모델은 밀집 스케일 연결을 통해 특징 전파와 기울기 흐름을 향상시켜 학습 효율성과 정확도를 개선한다.
• 모델 효율성은 소비자용 GPU에서의 추론을 위한 아키텍처 정리 및 최적화를 통해 추가로 향상된다.
• 이 방법은 두 가지 변종을 포함한다: 실시간 성능을 위한 빠른 추론 모델과 더 높은 mIoU를 위한 더 정확하지만 느린 버전.

실험 결과

연구 질문

• RQ1 경량 CNN 아키텍처가 도로 환경 데이터셋에서 높은 세분화 정확도를 유지하면서도 실시간 추론 속도를 달성할 수 있는가?
• RQ2 ResNet, DenseNet, FCN에서 어떤 아키텍처 구성 요소가 도로 환경 세분화의 정확도와 효율성에 가장 효과적으로 기여하는가?
• RQ3 밀집 연결과 특징 재사용의 통합이 모델 성능과 계산 비용에 어떤 영향을 미치는가?
• RQ4 표준 GPU 하드웨어에서 실시간 배포를 최적화할 때 추론 속도와 mIoU 사이의 상호 상충 관계는 어떠한가?

주요 결과

• DSNet는 GTX 1080Ti에서 도시스케이프 데이터셋에서 이미지당 0.0147초의 런타임으로 실시간 추론을 구현하며, 약 68 FPS에서 mIoU 69.1%를 달성한다.
• 이전 최고 성능 모델들에 비해 계산 복잡도를 크게 감소시키면서도 경쟁 가능한 정확도를 유지한다.
• 더 정확한 DSNet 버전은 CamVid 데이터셋에서 72.6% mIoU를 기록하여 높은 정확도 응용 분야로의 확장 가능성을 입증한다.
• 제거 분석 결과, DenseNet의 밀집 연결과 특징 재사용은 낮은 파라미터 수와 FLOPs로 성능 향상을 이끄는 핵심 요소임을 확인한다.
• 다양한 해상도와 복잡도를 가진 도시스케이프 및 CamVid를 포함한 다양한 도로 환경 데이터셋에서 강력한 일반화 성능을 보여준다.