[논문 리뷰] DSNet for Real-Time Driving Scene Semantic Segmentation

Wenfu Wang, Zhijie Pan|arXiv (Cornell University)|2018. 12. 06.

Advanced Neural Network Applications참고 문헌 19인용 수 13

한 줄 요약

이 논문은 실시간으로 작동하며 효율적인 딥 뉴럴 네트워크인 DSNet을 제안한다. 이는 ShuffleNet V2와 ENet의 아키텍처 통찰을 결합하고, 주행 결정에 중요한 객체를 우선시하기 위해 새로운 드라이빙 중요도 가중 손실을 도입하였다. Cityscapes 데이터셋에서 DSNet은 검증 세트에서 71.8%의 평균 IoU를 달성했으며, 테스트 세트에서는 69.3%를 기록하여 ENet보다 정확도에서 18.9% 높고 속도에서 1.1배 빠르게 성능을 냈다.

ABSTRACT

We focus on the very challenging task of semantic segmentation for autonomous driving system. It must deliver decent semantic segmentation result for traffic critical objects real-time. In this paper, we propose a very efficient yet powerful deep neural network for driving scene semantic segmentation termed as Driving Segmentation Network (DSNet). DSNet achieves state-of-the-art balance between accuracy and inference speed through efficient units and architecture design inspired by ShuffleNet V2 and ENet. More importantly, DSNet highlights classes most critical with driving decision making through our novel Driving Importance-weighted Loss. We evaluate DSNet on Cityscapes dataset, our DSNet achieves 71.8% mean Intersection-over-Union (IoU) on validation set and 69.3% on test set. Class-wise IoU scores show that Driving Importance-weighted Loss could improve most driving critical classes by a large margin. Compared with ENet, DSNet is 18.9% more accurate and 1.1+ times faster which implies great potential for autonomous driving application.

연구 동기 및 목표

• 자율 주행 시스템에서 실시간으로 높은 정확도를 갖춘 의미적 세분화를 해결하기 위해.
• 운전 결정에 직접적인 영향을 미치는 교통 핵심 객체의 세분화 성능을 향상시키기 위해.
• 실제 자율 주행 차량에 구현하기 위해 모델의 효율성과 정확도를 균형 잡기 위해.
• 운전 안전에 가장 관련성이 높은 클래스를 우선시하는 손실 함수를 개발하기 위해.

제안 방법

• DSNet은 높은 추론 속도와 낮은 계산 비용을 확보하기 위해 ShuffleNet V2와 ENet에서 영감을 얻은 효율적인 네트워크 아키텍처를 사용한다.
• 깊이 분리형 컨볼루션과 채널 셔플링 연산을 사용하여 기능 표현을 유지하면서 FLOPs를 줄인다.
• 운전 결정에 중요한 클래스, 예를 들어 차량, 보행자, 도로 등에 대해 더 높은 손실 가중치를 할당하기 위해 새로운 드라이빙 중요도 가중 손실을 도입한다.
• 오분류에 대해 더 강하게 처벌함으로써 안전 핵심 클래스에 대한 기능 학습을 향상시킨다.
• 엣지 디바이스에서 실시간 추론을 지원하기 위해 모바일 우수 성능을 고려한 구성 요소를 아키텍처에 통합한다.
• 표준 증강 및 최적화 기법을 사용하여 Cityscapes 데이터셋에서 학습을 수행한다.

실험 결과

연구 질문

• RQ1 경량화된 신경망이 실시간 주행 환경 의미적 세분화에서 최신 기술 수준의 정확도와 속도를 달성할 수 있는가?
• RQ2 운전에 특화된 손실 함수가 안전 핵심 클래스의 세분화 성능을 어떻게 향상시키는가?
• RQ3 ShuffleNet V2와 ENet의 아키텍처 효율성을 얼마나 잘 융합하여 추론 속도와 정확도를 최적화할 수 있는가?
• RQ4 드라이빙 중요도 가중 손실이 핵심 주행 객체의 IoU에 측정 가능한 향상을 가져오는가?
• RQ5 DSNet은 ENet과 같은 기존 모델과 비교해 정확도와 추론 속도 측면에서 어떻게 다른가?

주요 결과

• DSNet은 Cityscapes 검증 세트에서 71.8%의 평균 인터섹션 오버 유니온(IoU)을 달성하여 높은 세분화 정확도를 보였다.
• Cityscapes 테스트 세트에서는 DSNet이 69.3%의 평균 IoU를 기록하여 강력한 일반화 성능을 확인했다.
• 드라이빙 중요도 가중 손실은 차량, 보행자와 같은 핵심 주행 객체의 클래스별 IoU를 크게 향상시켰다.
• ENet와 비교해 DSNet은 평균 IoU 기준 18.9% 더 높은 정확도를 확보했으며, 추론 속도는 1.1배 이상 빠르게 성능을 냈다.
• 모델는 높은 효율성을 유지하여 자율 주행 시스템에서 실시간 구현에 적합하다.
• 클래스별 IoU 분석을 통해 손실 함수가 안전 핵심 클래스의 세분화를 효과적으로 향상시킨다는 것이 확인되었다.