[논문 리뷰] Rethinking Self-driving: Multi-task Knowledge for Better Generalization and Accident Explanation Ability

Zhihao Li, T. Motoyoshi외 3명|arXiv (Cornell University)|2018. 09. 28.

Advanced Neural Network Applications참고 문헌 22인용 수 35

한 줄 요약

이 논문은 종단간 자율주행 시스템을 위한 다중 작업 학습 프레임워크를 제안하며, 먼저 세그멘테이션 및 깊이 예측에서 인식 모듈을 훈련한 후 주행 정책을 피지터링하여 일반화 능력과 사고 설명 능력을 향상시킵니다. 이 방법은 훈련된 날씨 조건에서 훈련되지 않은 마을에서 15% 높은 성공률을 기록하고, 훈련되지 않은 날씨 조건에서는 20% 높은 성공률을 기록하며, 고정된 인식 가중치가 다중 작업 지식을 유지함으로써 더 뛰어난 내구성을 확보합니다.

ABSTRACT

Current end-to-end deep learning driving models have two problems: (1) Poor generalization ability of unobserved driving environment when diversity of training driving dataset is limited (2) Lack of accident explanation ability when driving models don't work as expected. To tackle these two problems, rooted on the believe that knowledge of associated easy task is benificial for addressing difficult task, we proposed a new driving model which is composed of perception module for extit{see and think} and driving module for extit{behave}, and trained it with multi-task perception-related basic knowledge and driving knowledge stepwisely. Specifically segmentation map and depth map (pixel level understanding of images) were considered as extit{what \& where} and extit{how far} knowledge for tackling easier driving-related perception problems before generating final control commands for difficult driving task. The results of experiments demonstrated the effectiveness of multi-task perception knowledge for better generalization and accident explanation ability. With our method the average sucess rate of finishing most difficult navigation tasks in untrained city of CoRL test surpassed current benchmark method for 15 percent in trained weather and 20 percent in untrained weathers. Demonstration video link is: https://www.youtube.com/watch?v=N7ePnnZZwdE

연구 동기 및 목표

• 훈련 다양성이 제한된 환경에서 관측되지 않은 주행 환경에서 종단간 자율주행 모델의 일반화 능력이 떨어지는 문제를 해결하기 위해.
• 시각화된 인식 모듈 출력(세그멘테이션 및 깊이 맵)을 통해 사고 설명을 가능하게 하여, 사전 지도 기반의 시각화 방법에 의존하는 것보다 향상된 설명 능력을 제공하기 위해.
• 기본 인식 작업(무엇과 어디, 얼마나 멀리)을 훈련하는 것이 복잡한 주행 작업 성능을 향상시키는지 조사하기 위해.
• 주행 훈련 동안 인식 모듈 가중치를 피지터링하는 것이 일반화 성능에 악영향을 미치는지 평가하기 위해.

제안 방법

• 모델은 두 모듈로 구성됩니다: 픽셀 수준의 이해를 위한 인식 모듈(세그멘테이션 및 깊이 맵 생성)과 제어 명령 생성을 위한 주행 모듈.
• 인식 모듈은 다중 작업 학습을 통해 세그멘테이션 및 깊이 예측 작업에서 '무엇과 어디', '얼마나 멀리' 지식을 학습하기 위해 사전 훈련됩니다.
• 사전 훈련 후, 인식 모듈의 가중치는 고정되고, 주행 모듈은 인식 특징을 기반으로 주행 명령을 학습합니다.
• 이 방법은 전이 학습을 영감으로 삼은 단계적 훈련 전략을 따르며, 기본 인식 지식이 어려운 주행 정책 학습 과제를 지원합니다.
• 고정된 가중치 기반 베이스라인과 대조적으로, 주행 훈련 동안 인식 모듈 가중치를 업데이트하는 피지터링 변형 버전이 평가됩니다.
• 모델 가중치의 선형 보간을 통한 손실 표면 시각화를 통해 원본 모델과 피지터드 모델 간 최적화 역학을 정성적으로 분석합니다.

실험 결과

연구 질문

• RQ1 세그멘테이션 및 깊이 예측과 같은 기본 인식 작업에서의 사전 훈련이 관측되지 않은 주행 환경으로의 일반화 능력을 향상시키는가?
• RQ2 세그멘테이션 및 깊이 출력을 시각화하는 것이 사전 지도 기반의 시각화 방법보다 사고 설명 능력을 향상시키는가?
• RQ3 주행 훈련 동안 인식 모듈 가중치를 피지터링하면 일반화 성능이 떨어지는가?
• RQ4 종단간 모델의 일반화 능력은 주로 인식 모듈의 가중치에 의해 결정되는가?

주요 결과

• 제안된 방법은 훈련된 날씨 조건에서 훈련되지 않은 마을에서 기준 모델 대비 15% 높은 성공률을 기록했습니다.
• 훈련되지 않은 날씨 조건에서는 기준 모델 대비 성공률이 20% 향상되어 분포 이탈 상황에서도 강력한 일반화 능력을 입증했습니다.
• 주행 훈련 동안 인식 모듈 가중치를 피지터링한 결과 성능이 크게 저하되었으며, 훈련되지 않은 마을의 주행 과제에서 성공률이 78%에서 42%로 감소했습니다.
• 손실 표면 시각화 결과, 피지터드 모델이 손실 곡면의 더 평평한 영역에 갇혀 있음을 확인하여 최적화가 비최적 상태에 도달했음을 시사했습니다.
• 결과는 일반화 능력이 주로 인식 모듈에서 기인하며, 종단간 훈련 중 이 가중치가 업데이트되면 일반화 능력이 손상됨을 시사합니다.
• 사전 훈련 후 인식 모듈 가중치를 고정함으로써 다중 작업 지식이 유지되고, 더 나은 일반화 및 설명 가능성 능력이 가능해집니다.