[논문 리뷰] Learning to Steer by Mimicking Features from Heterogeneous Auxiliary Networks

Yuenan Hou, Zheng Ma외 2명|arXiv (Cornell University)|2018. 11. 07.

Autonomous Vehicle Technology and Safety참고 문헌 27인용 수 13

한 줄 요약

이 논문은 종속된 데이터셋에 작업별 애너테이션을 요구하지 않고, 사전 훈련된 오프더슈elf 네트워크(예: 분할을 위한 PSPNet, 광학 흐름을 위한 FlowNet2)의 다층 특징을 흠모링을 통해 얻는 새로운 훈련 방법인 이종 보조 네트워크 특징 흉내 내기(feature mimicking)를 제안한다. 이 방법은 엔드 투 엔드 스티어링 각도 예측 성능을 향상시킨다. Udacity 및 Comma.ai 벤치마크에서 최신 기술 성능을 달성하였으며, 이는 이전 방법 대비 평균 절대 오차를 각각 12.8%와 52.1% 감소시킨 결과이다.

ABSTRACT

The training of many existing end-to-end steering angle prediction models heavily relies on steering angles as the supervisory signal. Without learning from much richer contexts, these methods are susceptible to the presence of sharp road curves, challenging traffic conditions, strong shadows, and severe lighting changes. In this paper, we considerably improve the accuracy and robustness of predictions through heterogeneous auxiliary networks feature mimicking, a new and effective training method that provides us with much richer contextual signals apart from steering direction. Specifically, we train our steering angle predictive model by distilling multi-layer knowledge from multiple heterogeneous auxiliary networks that perform related but different tasks, e.g., image segmentation or optical flow estimation. As opposed to multi-task learning, our method does not require expensive annotations of related tasks on the target set. This is made possible by applying contemporary off-the-shelf networks on the target set and mimicking their features in different layers after transformation. The auxiliary networks are discarded after training without affecting the runtime efficiency of our model. Our approach achieves a new state-of-the-art on Udacity and Comma.ai, outperforming the previous best by a large margin of 12.8% and 52.1%, respectively. Encouraging results are also shown on Berkeley Deep Drive (BDD) dataset.

연구 동기 및 목표

• 스티어링 각도 감독만에 의존하는 엔드 투 엔드 스티어링 각도 예측 모델의 제한된 문맥 이해 능력을 해결하기 위해.
• 급커브, 강한 그림자, 조명 변화와 같은 도전적인 주행 조건에서의 강건성을 향상시키기 위해.
• 목표 데이터셋에 대해 비용이 많이 드는 애너테이션을 요구하지 않고도 보조 네트워크에서 풍부한 문맥 신호를 활용할 수 있는 훈련 방법을 개발하기 위해.
• 다양한 이종 네트워크의 다중 레이어에서 특징을 흉내 내어 주된 모델이 다양한 시각적 구조와 운동 신호를 학습할 수 있도록 하기 위해.
• 추론 비용을 증가시키지 않고도 벤치마크 데이터셋에서 최신 기술 성능을 달성하기 위해.

제안 방법

• 동일한 입력 이미지를 사용하여, 주요 스티어링 네트워크(FM-Net)를 다층 특징을 흉내 내는 방식으로 훈련한다. 이 특징들은 이종 보조 네트워크인 분할을 위한 PSPNet과 광학 흐름을 위한 FlowNet2로부터 유도된다.
• 특징 흉내 내기는 보조 네트워크의 저수준, 중수준, 고수준 레이어 전반에 걸쳐 적용되며, 주요 네트워크는 이러한 레이어의 활성화 패턴을 일치시키도록 훈련된다.
• 보조 네트워크는 훈련 기간 동안만 사용되며 추론 시에는 제거되어 런타임 오버헤드가 없어진다.
• 지식 정착 원칙을 적용하지만, 이는 동일한 최종 출력 로짓 뿐 아니라 이종 네트워크와 다중 특징 레이어에 걸쳐 적용된다.
• 주요 네트워크는 각 레이어에서 예측된 특징맵과 목표 특징맵 간의 L2 거리 최소화를 통해 다수 레벨 특징 매칭 손실을 최적화하여 훈련된다.
• 보조 네트워크를 목표 도메인 데이터에 직접 적용함으로써 도메인 이동 문제를 피하며, 다른 데이터셋에서 사전 훈련하는 것에 의존하지 않는다.

실험 결과

연구 질문

• RQ1 이종 보조 네트워크의 특징을 흉내 내는 것이 스티어링 각도 감독만을 사용하는 것보다 엔드 투 엔드 스티어링 각도 예측 성능을 향상시킬 수 있는가?
• RQ2 다른 작업(예: 분할 및 광학 흐름)을 수행하는 네트워크로부터 다층 특징 정착을 통해 단일 작업 감독보다 더 강건하고 정확한 예측을 얻을 수 있는가?
• RQ3 세부 조정 없이 관련 작업(예: 이미지 분할)에서 사전 훈련한 전통적 전처리 전략에 비해 특징 흉내 내기의 성능은 어떻게 되는가?
• RQ4 보조 네트워크의 저수준, 중수준, 고수준 특징이 최종 예측 정확도에 기여하는 비율은 각각 얼마인가?
• RQ5 여러 보조 네트워크에서 특징 흉내 내기를 조합하면 단일 네트워크를 사용하는 것보다 더 나은 성능을 낼 수 있는가?

주요 결과

• 제안된 방법은 Udacity 벤치마크에서 최신 기술 성능을 달성하였으며, 랭킹 상위 기록인 'komanda' 대비 평균 절대 오차를 12.8% 감소시켰다.
• Comma.ai 벤치마크에서는 이전 최고 성능 방법 대비 평균 절대 오차가 52.1% 향상되었다.
• PSPNet과 FlowNet2를 모두 보조 네트워크로 사용하고 다수 레벨 흉내 내기(저수준, 중수준, 고수준)를 적용할 경우 최고의 성능을 기록하였으며, 이는 시각적 구조와 운동 신호의 상호보완적 이점이 있음을 시사한다.
• 고수준 특징 흉내 내기가 가장 큰 성과를 냈지만, 저수준 특징 흉내 내기도 중수준 특징 흉내 내기보다 더 큰 기여를 하였다.
• Cityscapes에서의 사전 훈련 전략에 비해 특징 흉내 내기 방법은 크게 승리하였으며, 이는 목표 데이터에서 직접 특징 매칭을 수행하는 것이 도메인 이동된 사전 훈련보다 더 효과적임을 시사한다.
• 제거 실험 결과 보조 네트워크가 훈련 기간 동안만 필요하며 추론 효율성에 영향을 주지 않음을 확인하였으며, 실시간 배포 가능성은 유지된다.