[논문 리뷰] Modular Vehicle Control for Transferring Semantic Information Between Weather Conditions Using GANs

Patrick Wenzel, Qadeer Khan외 2명|arXiv (Cornell University)|2018. 07. 03.

Autonomous Vehicle Technology and Safety참고 문헌 15인용 수 5

한 줄 요약

이 논문은 GAN을 사용하여 기상 조건 간의 의미적 지식을 전이하는 모듈러한 차량 제어 프레임워크를 제안한다. 이로 인해 하나의 기상 조건에서 훈련된 단일 제어 모듈이 새로운 조건에 일반화할 수 있다. CycleGAN 기반의 비지도 도메인 적응을 통해 인식 모듈을 훈련시킴으로써, 새로운 조향 레이블을 수집하지 않아도 15개의 기상 조건에서 훈련된 모델과 유사한 엔드 투 엔드 성능을 달성한다.

ABSTRACT

Even though end-to-end supervised learning has shown promising results for sensorimotor control of self-driving cars, its performance is greatly affected by the weather conditions under which it was trained, showing poor generalization to unseen conditions. In this paper, we show how knowledge can be transferred using semantic maps to new weather conditions without the need to obtain new ground truth data. To this end, we propose to divide the task of vehicle control into two independent modules: a control module which is only trained on one weather condition for which labeled steering data is available, and a perception module which is used as an interface between new weather conditions and the fixed control module. To generate the semantic data needed to train the perception module, we propose to use a generative adversarial network (GAN)-based model to retrieve the semantic information for the new conditions in an unsupervised manner. We introduce a master-servant architecture, where the master model (semantic labels available) trains the servant model (semantic labels not available). We show that our proposed method trained with ground truth data for a single weather condition is capable of achieving similar results on the task of steering angle prediction as an end-to-end model trained with ground truth data of 15 different weather conditions.

연구 동기 및 목표

• 자율 주행에서 새로운 기상 조건에서의 엔드 투 엔드 학습의 열악한 일반화 성능을 해결하기 위해.
• 각 새로운 기상 조건마다 새로운 참조 조향 데이터를 수집할 필요를 제거하기 위해.
• 지도 학습을 사용하지 않고도 레이블이 있는 기상 조건에서 레이블이 없는 새로운 조건으로 의미적 지식을 전이하기 위해.
• 인식과 제어 모듈을 분리하여, 새로운 환경에 대응할 때는 오직 인식 모듈만 재학습시키는 것을 가능하게 하기 위해.
• GAN 기반 인식 인터페이스를 활용해 단일 제어 모듈이 다양한 기상 조건에서 견고한 성능을 발휘할 수 있음을 입증하기 위해.

제안 방법

• 차량 제어 작업을 두 개의 독립된 모듈으로 분할한다: RGB 이미지에서 잠재 표현을 추출하기 위한 인식 모듈(에코더-디코더)과 하나의 기상 조건에서 암시적 학습을 통해 훈련된 제어 모듈.
• 주된 인식 모듈은 하나의 기상 조건(예: 기본)에서의 의미적 레이블을 기반으로 훈련되어 RGB 이미지에서 잠재 표현을 추출한다.
• 부하 인식 모듈은 CycleGAN을 사용하여 새로운 기상 조건의 이미지를 주된 모듈의 도메인으로 변환하도록 훈련되며, 쌍이 맞는 데이터 없이도 의미 특징 추출이 가능하다.
• CycleGAN은 쌍이 맞지 않는 이미지만을 사용하여, 새로운 기상 조건의 도메인에서의 이미지를 주된 도메인으로 변환함으로써, 새로운 기상 조건에 대한 합성 의미 지ap을 생성한다.
• 제어 모듈은 고정되어 있으며, 새로운 기상 조건에 배포할 때는 오직 인식 모듈만 교체되므로 제어 정책의 재학습이 필요 없다.
• 주-부모 아키텍처를 사용하여 주(레이블이 있는) 모듈이 부(레이블이 없는) 모듈을 적대적 적응을 통해 훈련함으로써, 비지도 의미 전이가 가능하다.

실험 결과

연구 질문

• RQ1 하나의 기상 조건에서 훈련된 단일 제어 정책이 새로운 기상 조건으로 일반화될 수 있는가? 이때 새로운 레이블 데이터를 수집하지 않아도 된다.
• RQ2 GAN 기반의 비지도 도메인 적응이 다양한 기상 조건 간의 의미적 구조를 얼마나 잘 유지하는가?
• RQ3 고정된 제어 모듈과 교체 가능한 인식 모듈을 가진 모듈러 아키텍처가 제로샷 기상 일반화에서 엔드 투 엔드 학습을 능가할 수 있는가?
• RQ4 CycleGAN이 생성한 의미 지도가 저조도 또는 극한 기상 조건에서 조향 정책 성능에 어떤 영향을 미치는가?
• RQ5 주-부모 인식 훈련 프레임워크를 사용하여, 레이블이 있는 도메인에서 여러 개의 레이블이 없는 도메인으로 의미 지식을 얼마나 효과적으로 전이할 수 있는가?

주요 결과

• 모듈러 부모 모델은 15개의 기상 조건에서 평균 96%의 성공률을 기록했으며, 모든 15개 조건에서 훈련된 엔드 투 엔드 모델과 동일한 성능을 달성했다.
• 맑은 날과 기본 기상 조건에서는 100%의 전환 성공률를 기록했고, 15개 조건 중 11개에서 88% 이상의 성공률를 유지했다.
• 성능이 저하된 유일한 조건은 HardRainSunset(조건 13)이었으며, 저조도와 CycleGAN이 생성한 열악한 의미 구조로 인해 성공률가 63%로 떨어졌다.
• 특히 훈련 도메인에서 멀리 떨어진 조건에서, 엔드 투 엔드 모델보다 모듈러 접근 방식이 더 뛰어난 성능을 보였다.
• 새로운 조향 명령어나 제어 모듈의 재학습 없이도 새로운 기상 조건으로의 완전한 일반화가 가능했다.
• 주-부모 GAN 프레임워크는 비지도 방식으로 도메인 간 의미 정보를 성공적으로 전이했으며, 최소한의 데이터 의존성으로도 견고한 제어를 가능하게 했다.