[논문 리뷰] Fast Scene Understanding for Autonomous Driving

Davy Neven, Bert De Brabandere외 3명|arXiv (Cornell University)|2017. 08. 08.

Advanced Neural Network Applications참고 문헌 19인용 수 49

한 줄 요약

이 논문은 자율주행을 위한 실시간 다중 작업 신경망을 제안하며, ENet 기반으로 하며 동시에 의미 분할, 인스턴스 분할, 단안 깊이 추정을 수행한다. 공유 인코더와 가지치기된 디코더를 사용함으로써 Cityscapes에서 1024×512 해상도에서 정확도 손실 최소화로 21 fps를 달성한다. 단일 작업 모델보다 빠른 속도와 메모리 효율성을 확보하면서도 모든 작업에서 경쟁력 있는 성능 유지를 한다.

ABSTRACT

Most approaches for instance-aware semantic labeling traditionally focus on accuracy. Other aspects like runtime and memory footprint are arguably as important for real-time applications such as autonomous driving. Motivated by this observation and inspired by recent works that tackle multiple tasks with a single integrated architecture, in this paper we present a real-time efficient implementation based on ENet that solves three autonomous driving related tasks at once: semantic scene segmentation, instance segmentation and monocular depth estimation. Our approach builds upon a branched ENet architecture with a shared encoder but different decoder branches for each of the three tasks. The presented method can run at 21 fps at a resolution of 1024x512 on the Cityscapes dataset without sacrificing accuracy compared to running each task separately.

연구 동기 및 목표

• 자율주행 시스템에서 실시간, 저메모리 환경 이해의 필요성 해결.
• 기존의 VGG나 FCN와 같은 무거운 아키텍처에 의존하는 다중 작업 네트워크와 비교해 추론 시간과 메모리 사용량을 줄임.
• 실시간으로 의미 분할, 인스턴스 분할, 단안 깊이 추정을 동시에 예측할 수 있도록 함.
• 단순한 아키텍처임에도 불구하고 공동 학습이 각 작업의 성능 향상에 기여하는지 조사.
• 향후 자율주행 분야에서 속도-정확도 트레이드오프에 초점을 맞춘 다중 작업 방법의 빠르고 효율적인 기준 제공.

제안 방법

• 세 가지 후행 작업(의미 분할, 인스턴스 분할, 단안 깊이 추정)에 대해 ENet를 공유 인코더로 적응.
• 각 브랜치가 공유 인코더에서 온 특징을 처리해 작업별 출력을 생성하는 가지치기된 디코더 아키텍처 구축.
• 공유 인코더로 ENet의 스테이지 1과 2를 사용하고, 각 브랜치에서 ENet의 스테이지 3와 원래의 ENet 디코더 스테이지 4와 5를 순차적으로 적용.
• 의미 분할에 교차 엔트로피 손실, 인스턴스 분할에 마스크 기반 손실, 깊이 추정에 L1 손실을 사용해 엔드 투 엔드로 다중 작업 네트워크 학습.
• 모든 작업에 공유 인코더를 활용해 추론을 최적화함으로써 별도의 모델을 학습시키는 것보다 메모리 사용량 감소 및 속도 향상.
• 깊이 평가 시 인스턴스 마스크를 적용해 실제 차량 영역에서만 지표를 계산함으로써 검출 오류로 인한 편향 방지.

실험 결과

연구 질문

• RQ1 경량 실시간 신경망 아키텍처가 의미 분할, 인스턴스 분할, 단안 깊이 추정을 높은 효율성으로 동시에 수행할 수 있는가?
• RQ2 공유 인코더를 사용한 다중 작업 학습이 개별 작업의 성능을 별도 학습보다 향상시키는가?
• RQ3 ENet 기반 모델이 정확도 손실 없이 고해상도 도심 주행 환경에서 실시간 추론(≥20 fps)을 달성할 수 있는가?
• RQ4 속도, 메모리 사용량, 세 가지 작업의 정확도 측면에서 제안된 방법이 최신 기술과 비교해 어떻게 성능을 내는가?
• RQ5 공동 학습이 정확도를 유지하거나 향상시키면서도 메모리 사용량과 추론 시간을 줄일 수 있는가?

주요 결과

• 단일 GPU에서 1024×512 해상도에서 21 fps로 실행되며, 별도 모델(12 fps)보다 두 배 이상 빠르고, 메모리 사용량을 2.6 GB에서 1.2 GB로 감소시킴.
• 공동 학습 시 의미 분할의 mIoU가 58.3%에서 59.3%로 약간 향상되어 다중 작업 학습의 성능 향상 효과 확인.
• 공동 학습 시 인스턴스 분할의 AP가 0.20%에서 0.21%로 약간 증가하여 일관된 향상 추세 확인.
• 100m 이내 평균 절대 오차(MAE)는 7.5m, 50m 이내는 3.5m, 25m 이내는 1.5m를 기록하며 25m 범위에서 이전 작업보다 우수한 성능 확보.
• 경량 아키텍처임에도 불구하고 지표 마스크 기반 평가 시 더 복잡한 모델과 유사한 깊이 추정 성능 확보.
• 공동 학습이 작업 간 성능 향상과 계산 비용 감소를 동시에 달성함을 입증하여 실시간 자율주행 시스템에 적합함.