[논문 리뷰] MultiNet: Multi-Modal Multi-Task Learning for Autonomous Driving

Sauhaarda Chowdhuri, Tushar Pankaj외 1명|arXiv (Cornell University)|2017. 09. 16.

Autonomous Vehicle Technology and Safety참고 문헌 27인용 수 4

한 줄 요약

이 논문은 행동 모드를 공유 컨볼루션 네트워크의 조건부 입력으로 통합함으로써 직접 주행 및 도망 주행과 같은 다양한 주행 행동을 학습할 수 있는 다중 모odal 다중 작업 딥 러닝 프레임워크인 MultiNet을 제안한다. 이 방법은 별도의 다중 작업 네트워크보다 우수한 성능을 보이며, 직접 주행 모드에서 자율성은 8.31% 향상되고 검증 손실은 상당히 낮아지며, 파라미터 수는 더 적게 사용한다.

ABSTRACT

Autonomous driving requires operation in different behavioral modes ranging from lane following and intersection crossing to turning and stopping. However, most existing deep learning approaches to autonomous driving do not consider the behavioral mode in the training strategy. This paper describes a technique for learning multiple distinct behavioral modes in a single deep neural network through the use of multi-modal multi-task learning. We study the effectiveness of this approach, denoted MultiNet, using self-driving model cars for driving in unstructured environments such as sidewalks and unpaved roads. Using labeled data from over one hundred hours of driving our fleet of 1/10th scale model cars, we trained different neural networks to predict the steering angle and driving speed of the vehicle in different behavioral modes. We show that in each case, MultiNet networks outperform networks trained on individual modes while using a fraction of the total number of parameters.

연구 동기 및 목표

• 비구조적 자율 주행(예: 보도 및 흙길)을 위한 데이터셋과 모델의 부족을 해결한다.
• 다양한 주행 행동을 다루는 데 있어 단일 작업 학습과 전통적 다중 작업 학습의 한계를 극복한다.
• 다양한 행동 모드 간에 파라미터를 공유하면서도 모드별 성능를 유지하는 통합된 딥 러닝 아키텍처를 개발한다.
• 단일 신경망을 사용하여 복잡한 실제 환경에서의 자율 주행을 위한 확장 가능하고 효율적인 솔루션을 제공한다.
• 행동 모드를 조건부 입력으로 통합함으로써 일반화 능력 향상과 모델 복잡도 감소가 별도의 네트워크를 훈련하는 것보다 유리함을 입증한다.

제안 방법

• 행동 모드를 이미지 특징에 연결하여 네트워크 출력을 조건화하는 새로운 다중 모달 다중 작업 학습 프레임워크를 도입한다.
• 스테레오 이미지와 행동 모드를 입력으로 사용하여 종단 간 조향 및 속도 예측을 위한 깊은 컨볼루션 신경망 Z2Color를 설계한다.
• 조향 및 속도 예측과 같은 작업 간 소프트 파라미터 공유 전략을 사용하면서도 행동 모드에 따라 조건화하여 파라미터 효율성을 확보한다.
• 모델 카 실험에서의 실시간 교정 데이터를 사용한 수정된 DAgger 알고리즘을 구현하여 내성적이고 일반화 능력 있는 성능을 향상시킨다.
• 보도 및 산책로를 포함한 비구조적 환경에서 100시간 이상의 1/10 스케일 모델 카 주행 데이터로 구성된 자체 구축 데이터셋을 사용해 MultiNet 모델을 훈련한다.
• 검증 손실, 실시간 도로 실험에서의 자율성 지표, 행동에 대한 정성적 분석을 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 행동 모드를 조건으로 하여 단일 딥 뉴럴 네트워크가 직접 주행 및 도망 주행과 같은 다수의 구별되는 주행 행동을 효과적으로 학습할 수 있는가?
• RQ2 정확도, 파라미터 효율성, 일반화 능력 측면에서 MultiNet의 성능는 기존의 다중 작업 학습 및 단일 작업 네트워크와 비교해 어떻게 다른가?
• RQ3 조건부 입력으로 행동 모드를 통합함으로써 비구조적 주행 과제에서 모델 성능 향상은 어느 정도 이루어지는가?
• RQ4 특히 복잡한 행동 모드에서 검증 손실 지표는 실제 자율 주행 성능과 상관관계가 있는가?
• RQ5 모델 카 실험에서의 실시간 교정 데이터는 실제 배포 환경에서 MultiNet 아키텍처의 내성적 성능 향상에 기여하는가?

주요 결과

• MultiNet은 직접 주행 모드에서 92.68%의 자율성을 기록하여 MTL 기준선보다 8.31%포인트 높았다.
• 도망 주행 모드에서는 MultiNet이 88.23%의 자율성을 기록했고 MTL은 87.55%였으며, 검증 손실은 12.58% 감소하여 복잡한 행동을 더 잘 학습함을 시사했다.
• MultiNet과 MTL 간의 검증 손실 차이는 직접 주행 모드에서 8.16%, 도망 주행 모드에서 12.58%였으며, 이는 단순한 경로 추종을 넘어서는 성능 향상이 손실 지표가 효과적으로 반영하고 있음을 보여준다.
• MTL 네트워크에 비해 MultiNet은 더 두드러진 도망 주행 행동(예: 장애물 근처에서 속도 조절, 경계 따라 주행)을 보였다.
• MSE 손실 지표는 직접 주행 모드에서는 실제 성능의 유효한 대체 지표로 나타났지만, 도망 주행 모드에서는 자율성 지표보다 더 민감하여 미세한 행동 학습을 잘 반영함을 시사했다.
• MultiNet은 각 모드별 별도의 네트워크를 훈련하는 것보다 훨씬 적은 파라미터를 사용하여 파라미터 효율성과 확장 가능성을 입증했다.