[논문 리뷰] MultiNet: Real-time Joint Semantic Reasoning for Autonomous Driving

Marvin Teichmann, Michael Weber외 3명|arXiv (Cornell University)|2016. 12. 22.

Advanced Neural Network Applications참고 문헌 47인용 수 80

한 줄 요약

MultiNet는 공유 인코더와 작업별 디코더를 사용하여 실시간으로 의미 분할, 객체 검출 및 이미지 분류를 동시에 수행하는 통합형 엔드 투 엔드 딥 러닝 아키텍처를 제안한다. 이는 KITTI 벤치마크에서 도로 분할 작업에서 최신 기술 수준의 성능을 달성하며, 프레임당 45ms 이내로 모든 작업을 처리하여 23 FPS 이상의 실시간 추론을 가능하게 한다.

ABSTRACT

While most approaches to semantic reasoning have focused on improving performance, in this paper we argue that computational times are very important in order to enable real time applications such as autonomous driving. Towards this goal, we present an approach to joint classification, detection and semantic segmentation using a unified architecture where the encoder is shared amongst the three tasks. Our approach is very simple, can be trained end-to-end and performs extremely well in the challenging KITTI dataset. Our approach is also very efficient, allowing us to perform inference at more then 23 frames per second. Training scripts and trained weights to reproduce our results can be found here: https://github.com/MarvinTeichmann/MultiNet

연구 동기 및 목표

• 자율주행 인식 시스템에서 실시간 성능에 대한 핵심적 필요를 해결한다.
• 분류, 검출 및 의미 분할을 동시에 수행하는 통합형 딥 러닝 아키텍처를 개발한다.
• 작업 간 특징 계산을 공유하여 정확도를 유지하면서 추론 속도를 향상시킨다.
• 단계별 검출기와 이차 검출기 간의 성능 격차를 좁히면서도 높은 속도를 유지한다.
• 기존 방법보다 KITTI 벤치마크에서 뛰어난 성능을 내는 다중 작업 네트워크의 엔드 투 엔드 학습을 가능하게 한다.

제안 방법

• 단일 입력 이미지에서 풍부한 다중 척도 특징을 추출하기 위해 공유된 딥 컨볼루션 신경망(CNN) 인코더를 사용한다.
• 분류, 검출 및 의미 분할 각각에 맞는 작업별 디코더를 활용하며, 모두 공유된 특징을 기반으로 한다.
• YOLO의 빠른 회귀 방식과 Faster R-CNN, Mask R-CNN의 ROI-Align을 조합하여 크기 조절이 가능한 특징을 제공하는 검출 디코더를 구현한다.
• 계산 비용을 증가시키지 않으면서도 척도 불변성을 향상시키고 검출 정확도를 높이기 위해 검출 헤드에 재스케일링 레이어를 도입한다.
• 특징 해상도 유지와 효율적인 업샘플링을 위해 1x1 컨볼루션과 스킵 연결을 적용한다.
• 분류, 검출 및 분할 손실을 통합한 다중 작업 손실 함수를 사용하여 전체 네트워크를 엔드 투 엔드로 학습시킨다.

실험 결과

연구 질문

• RQ1 통합형 딥 네트워크 아키텍처가 자율주행 환경에서 분류, 검출 및 의미 분할 작업 전반에 걸쳐 실시간 성능를 달성할 수 있는가?
• RQ2 여러 작업 간에 단일 인코더를 공유할 경우, 별도의 네트워크와 비교해 추론 속도와 정확도에 어떤 영향을 미치는가?
• RQ3 ROI-Align과 재스케일링을 갖춘 단계별 검출기가 Faster R-CNN과 같은 이차 검출기 수준의 성능에 도달할 수 있는가?
• RQ4 공유 인코더와 작업별 디코더와 같은 아키텍처 설계 선택이 모델의 효율성과 정확도에 어떤 영향을 미치는가?
• RQ5 단일 작업 기반 기준선과 비교해 병렬 학습이 도로 분할과 같은 후행 작업의 일반화 능력과 성능 향상에 어떤 영향을 미치는가?

주요 결과

• MultiNet는 KITTI 벤치마크에서 도로 분할 작업에서 최신 기술 수준의 성능를 달성하며, 이전 방법들을 능가한다.
• ROI-Align과 재스케일링을 적용한 검출 디코더는 Faster R-CNN 대비 추론 시간을 거의 두 배 줄이며 검출 정확도를 향상시킨다.
• VGG 기반 인코더를 사용하여 모든 세 가지 작업을 병렬로 추론하는 데 42.48ms(23.53 FPS)가 소요되어 실시간 성능를 입증한다.
• MultiNet 아키텍처의 분류 헤드는 자체 설계된 데이터셋에서 평균 정확도 98.86%를 달성하여 순수한 ResNet 및 VGG 기반 기준선보다 뛰어나다.
• ResNet 기반 인코더는 VGG 대비 정확도를 향상시키지만 추론 시간이 증가하므로, 실시간 응용에 적합한 성능-비용 균형을 위해 VGG 기반 MultiNet가 더 우수한 선택이다.
• 제안된 재스케일링 레이어는 최소한의 계산 비용으로도 검출 성능을 향상시켜 단계별 검출기와 이차 검출기 간의 성능 격차를 효과적으로 해소한다.