[논문 리뷰] Learning by Cheating

Dian Chen, Brady Zhou외 2명|arXiv (Cornell University)|2019. 12. 27.

Advanced Neural Network Applications참고 문헌 28인용 수 4

한 줄 요약

이 논문은 시각 기반 자율 주행을 위한 이중 단계의 암시 학습 프레임워크를 제안한다. 여기서 ' cheating'이라는 특권을 가진 에이전트가 기저 상태 환경 정보에 접근하여 전문가 트레이제터리를 모방한 후, 순수하게 시각 기반의 센서모터 에이전트를 훈련시키는 교사로 기능한다. 이 방법은 CARLA 벤치마크의 모든 작업에서 100% 성공률를 달성하고, 이전 연구 대비 위반 행위를 한 단계 감소시킨다.

ABSTRACT

Vision-based urban driving is hard. The autonomous system needs to learn to perceive the world and act in it. We show that this challenging learning problem can be simplified by decomposing it into two stages. We first train an agent that has access to privileged information. This privileged agent cheats by observing the ground-truth layout of the environment and the positions of all traffic participants. In the second stage, the privileged agent acts as a teacher that trains a purely vision-based sensorimotor agent. The resulting sensorimotor agent does not have access to any privileged information and does not cheat. This two-stage training procedure is counter-intuitive at first, but has a number of important advantages that we analyze and empirically demonstrate. We use the presented approach to train a vision-based autonomous driving system that substantially outperforms the state of the art on the CARLA benchmark and the recent NoCrash benchmark. Our approach achieves, for the first time, 100% success rate on all tasks in the original CARLA benchmark, sets a new record on the NoCrash benchmark, and reduces the frequency of infractions by an order of magnitude compared to the prior state of the art. For the video that summarizes this work, see https://youtu.be/u9ZCxxD-UUw

연구 동기 및 목표

• 전문가 트레이제터리에서 직접 시각 기반 주행 정책으로의 암시 학습의 어려움을 해결하기 위해.
• perception과 제어 학습을 분리함으로써 시각 기반 자율 주행에서 샘플 효율성과 일반화 능력을 향상시키기 위해.
• 특권을 가진 교사가 온-폴리시, 다중 분기, 화이트박스 감독을 제공함으로써 센서모터 에이전트에 강력한 감독을 제공하기 위해.
• 추론 시 특권 정보에 의존하지 않고도 표준 벤치마크에서 최신 기술 성능을 달성하기 위해.
• 시뮬레이션 기반 특권 훈련이 실제 적용 가능한 강력하고 이식 가능한 시각 기반 정책를 도출할 수 있음을 보여주기 위해.

제안 방법

• 기본 상태 환경 정보(예: 조감도)와 전문가 트레이제터리를 사용하여 특권 에이전트를 훈련시켜 강력한 제어 정책을 학습시킨다.
• 특권 에이전트를 교사로 삼아, 훈련 중에 시각 기반 센서모터 에이전트에게 고용량의 온-폴리시 감독을 제공한다.
• 각 상태에서 가능한 모든 명령어(예: 좌회전, 우회전 등)에 대해 특권 에이전트의 행동을 질의하여 화이트박스 감독을 구현함으로써 다중 분기 훈련을 가능하게 한다.
• 센서모터 에이전트의 롤아웃을 사용하여 특권 교사로부터 적응형 감독을 활성적으로 쿼리하는 온라인 DAgger 스타일 롤아웃을 적용한다.
• 특권 에이전트의 중간 표현(조감도) 기반 데이터 증강을 통해 일반화 능력을 향상시킨다.
• 다중 분기 감독을 사용한 오프-폴리시 암시 학습을 통해 행동 출력의 상관관계를 더 잘 분리할 수 있도록 센서모터 에이전트를 훈련시킨다.

실험 결과

연구 질문

• RQ1 특권을 가진 ‘cheating’ 에이전트를 사용하는 이중 단계 암시 학습 접근 방식이 시각 기반 자율 주행의 성능을 크게 향상시킬 수 있는가?
• RQ2 특권 교사로부터 온-폴리시, 다중 분기, 화이트박스 감독을 제공받는 것이 직접 암시 학습에 비해 샘플 효율성과 일반화 능력을 향상시키는가?
• RQ3 이 방법은 추론 시 특권 정보에 의존하지 않고도 CARLA 및 NoCrash와 같은 표준 벤치마크에서 최신 기술 성능을 달성할 수 있는가?
• RQ4 특권 훈련과 시뮬레이션에서 실제 환경으로의 전이가 어떻게 강력하고 안정적인 실제 세계 적용을 위한 시각 기반 에이전트를 가능하게 하는가?
• RQ5 특권 교사가 다양한 적응형 감독을 생성할 수 있는 능력이 위반 빈도를 줄이고 안전성 지표를 향상시키는 데 얼마나 기여하는가?

주요 결과

• 제안된 방법은 원래 CARLA 벤치마크의 모든 작업에서 100% 성공률를 달성하였으며, 새로운 마을과 기상 조건이 포함된 전체 일반화 설정에서도 성공하였다.
• NoCrash 벤치마크에서 이 방법은 새로운 기록을 수립하여 모든 조건에서 85% 이상의 성공률를 기록했으며, 특히 혼잡한 교통 상황에서 최신 기술보다 18% 포인트 향상되었다.
• 이전 최신 기술, 특히 CILRS 모델 대비 위반 횟수(예: 신호 위반, 충돌)를 최소한 한 단계 감소시켰다.
• 위반 분석 결과, 대부분의 조건에서 신호 위반 및 충돌 횟수는 10km당 5건 이하로 줄었으며, Town 1에서는 3.1건, Town 1에 새로운 기상 조건이 적용된 경우 3.2건으로 매우 낮았다.
• 화이트박스 다중 분기 감독과 훈련 중 온라인 롤아웃의 조합이 가장 높은 성능을 내어 모든 조건에서 100% 성공률를 달성했다.
• 특권 정보가 훈련 단계에서 사용되더라도 최종 시각 기반 정책의 실제 세계 적용 가능성에 영향을 주지 않음을 입증하였으며, 표준 시뮬레이션에서 실제 환경으로의 전이 기법을 통해 이식 가능하다.