[논문 리뷰] Meta learning Framework for Automated Driving

Ahmad El Sallab, Mahmoud S. R. Saeed외 2명|arXiv (Cornell University)|2017. 06. 11.

Reinforcement Learning in Robotics참고 문헌 19인용 수 8

한 줄 요약

이 논문은 자율 주행을 위한 타깃 환경에서의 일반화 능력을 향상시키기 위해 메타학습 프레임워크인 MetaDAgger를 제안한다. 여러 트랙을 통해 일반적인 주행 특징을 학습하는 메타학습자와 각 환경에 특화된 저수준 학습자를 분리함으로써, MetaDAgger는 뛰어난 샘플 효율성과 더 빠른 학습을 달성한다. 한 번의 데이터 집합 반복 후에 80%의 랩을 완료하며, 훈련 및 미사용 테스트 트랙 모두에서 DAgger를 능가한다.

ABSTRACT

The success of automated driving deployment is highly depending on the ability to develop an efficient and safe driving policy. The problem is well formulated under the framework of optimal control as a cost optimization problem. Model based solutions using traditional planning are efficient, but require the knowledge of the environment model. On the other hand, model free solutions suffer sample inefficiency and require too many interactions with the environment, which is infeasible in practice. Methods under the Reinforcement Learning framework usually require the notion of a reward function, which is not available in the real world. Imitation learning helps in improving sample efficiency by introducing prior knowledge obtained from the demonstrated behavior, on the risk of exact behavior cloning without generalizing to unseen environments. In this paper we propose a Meta learning framework, based on data set aggregation, to improve generalization of imitation learning algorithms. Under the proposed framework, we propose MetaDAgger, a novel algorithm which tackles the generalization issues in traditional imitation learning. We use The Open Race Car Simulator (TORCS) to test our algorithm. Results on unseen test tracks show significant improvement over traditional imitation learning algorithms, improving the learning time and sample efficiency in the same time. The results are also supported by visualization of the learnt features to prove generalization of the captured details.

연구 동기 및 목표

• 자율 주행의 타깃 학습에서 미사용 환경에서 실패하는 일반화 갭을 해결하기 위해.
• 효율적인 훈련을 위해 필요한 환경 상호작용 횟수를 줄이기 위해 샘플 효율성을 향상시키기 위해.
• 보상 함수에 대한 의존도를 줄이고 안전하지 않은 상호작용으로 인한 위험을 감소시켜 실세계 적용을 가능하게 하기 위해.
• 다양한 환경에서 일반적인 주행 특징을 포착하는 메타학습 프레임워크를 개발하기 위해.
• 학습된 특징이 환경에 특화된 특징(예: 지형 또는 하늘의 세부 사항)이 아니라 임무에 관련된 특징(예: 차선 위치)임을 검증하기 위해.

제안 방법

• 프레임워크는 메타학습자와 저수준 학습자로 나뉘며, 메타학습자는 다양한 환경에서 일반적인 특징을 학습하고, 저수준 학습자는 각 환경에 특화된 학습을 수행한다.
• DAgger 유사한 접근 방식을 사용해 반복적으로 데이터 집합을 수행하며, 저수준 에이전트의 실수는 수정되어 메타학습자에게 피드백된다.
• 지속적인 수명 주기 학습을 통해 지식 전이가 가능하다: 환경을 전환할 때, 저수준 학습자는 새로운 경험을 메타학습자에게 업데이트한다.
• 메타학습자와 저수준 학습자는 동일한 ConvNet, 배치 정규화, Xavier 초기화, 드롭아웃, ReLU, 그리고 회귀를 위한 선형 출력을 사용한다.
• 손실 함수는 연속적인 조향 조작을 위한 평균 제곱 오차(MSE)이다.
• 특징 시각화를 위해 Grad-CAM을 사용하여 학습된 표현의 일반성 분석 및 검증을 수행한다.

실험 결과

연구 질문

• RQ1 메타학습은 자율 주행의 타깃 환경에서의 타깃 학습 일반화를 향상시킬 수 있는가?
• RQ2 기존의 DAgger에 비해 제안된 MetaDAgger 프레임워크는 샘플 복잡도를 감소시키는가?
• RQ3 MetaDAgger가 학습한 특징은 환경에 특화된 특징(예: 지형 또는 하늘)보다 임무에 관련된 특징(예: 차선 위치)이 더 많은가?
• RQ4 훈련 데이터에 과적합되지 않고 다양한 주행 트랙 간 지식 전이를 효과적으로 수행할 수 있는가?
• RQ5 프레임워크는 미사용 테스트 트랙에서 더 빠른 수렴과 높은 성능을 달성할 수 있는가?

주요 결과

• MetaDAgger는 단 한 번의 데이터 집합 반복 후에 80%의 랩을 완료했으며, 초기 학습 단계에서 DAgger를 크게 능가했다.
• 미사용 테스트 트랙에서 MetaDAgger는 0 또는 1회의 반복 후 대부분의 랩을 완료했고, DAgger는 유사한 진전을 달성하기 위해 최대 4회의 반복이 필요했다.
• Grad-CAM 시각화 결과, MetaDAgger는 차선 표시와 같은 임무에 관련된 특징을 학습한 것으로 확인되었고, DAgger는 산과 및 하늘과 같은 환경에 특화된 신호에 집중했다.
• MetaDAgger는 모든 테스트 트랙에서 DAgger보다 더 뛰어난 일반화 능력과 샘플 효율성을 확보했으며, 더 적은 반복 횟수로 더 많은 랩을 완료했다.
• 메타학습자는 다양한 트랙 간 일관된 성능와 특징 시각화를 통해 환경 간 일반적인 주행 특징을 효과적으로 포착했다.
• 효율적인 데이터 수집과 수정을 통해 안전하지 않은 상호작용을 최소화함으로써, 실세계 적용 잠재력을 높게 보여주었다.