[논문 리뷰] Human-like Decision Making for Autonomous Driving via Adversarial Inverse Reinforcement Learning

Pin Wang, Dapeng Liu외 3명|arXiv (Cornell University)|2019. 11. 19.

Reinforcement Learning in Robotics참고 문헌 15인용 수 12

한 줄 요약

이 논문은 자율주행에서 정책 학습과 보상 복원을 향상시키기 위해 의미론적 보상 항목을 통합한 증강된 적대적 역강화학습(AIRL) 프레임워크를 제안한다. 복잡하고 상호작용적인 주행 환경에서 안정성과 성능을 향상시켜 인간과 유사한 의사결정을 가능하게 하며, 시뮬레이션에서 이민학습 및 강화학습 기반 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

To make human-like decisions under complex driving environment is a challenging task for autonomous agents. Imitation Learning or learning-from-demonstration methods have seen great potential for achieving such a goal. Some state-of-the-art studies apply Generative Adversarial Imitation Learning (GAIL) to learn sequential decision-making and control policies. While GAIL can directly learn a policy, it lacks the ability to recover a reward function, which is considered robust and adaptable to environments changes. Adversarial Inverse Reinforcement Learning (AIRL) is another learning-from-demonstration method that can achieve similar benefits as GAIL but also learns the reward function with the policy simultaneously. In the original work of AIRL, it has been demonstrated in single-agent environments such as maze navigation and ant running tasks in OpenAI Gyms. In this paper, we augment AIRL by concatenating semantic reward terms in the learning framework to improve and stabilize its performance, and then extend it to a more practical but challenging situation, i.e. decision-making scenario in highly interactive driving environment. Four performance evaluation metrics are proposed and compared with some Imitation Learning based methods and Reinforcement Learning based methods. Simulation results show that the augmented AIRL outperforms all the other methods, and the trained vehicle agent can perform decision-making behaviors comparable with that of the experts.

연구 동기 및 목표

• 높은 상호작용성을 요구하는 자율주행 환경에서 자율주행 차량이 인간과 유사한 의사결정을 내릴 수 있도록 하는 것.
• 기존의 이민학습 방법이 해석 가능하고 적응 가능한 보상 함수를 복원하는 데에 한계가 있음을 해결하는 것.
• 의미론적 보상 항목 통합을 통해 적대적 역강화학습(AIRL)의 안정성과 성능을 향상시키는 것.
• 간단한 환경에서부터 다수의 에이전트와 동적 상호작용을 포함하는 현실적인 복잡한 주행 시나리오로 AIRL를 확장하는 것.
• 시뮬레이션 프레임워크에서 종합적인 지표를 사용해 최신의 IRL 및 RL 기반 방법과 제안된 방법을 평가하는 것.

제안 방법

• 학습 중에 차선 유지, 속도 일관성, 충돌 회피와 같은 의미론적 보상 항목을 원래의 AIRL 프레임워크에 연결하여 보상 함수에 통합한다.
• 이러한 의미론적 항목을 보상 함수의 보조 구성 요소로 통합하여 정책 학습을 이끌고 학습 동역학을 안정화시킨다.
• 생성적 적대적 프레임워크를 사용하여 디스크림네이터가 전문가의 시연와 전문가가 생성한 롤아웃을 구분하도록 하며, 에이전트는 전문가 행동을 모방하는 정책을 학습한다.
• 정책과 보상 함수를 동시에 적대적 학습을 통해 최적화하여 양측 요소의 엔드 투 엔드 학습을 가능하게 한다.
• 다수의 차량과 동적 장애물이 존재하는 복잡하고 상호작용적인 교통 시나리오를 모델링한 고정밀 시뮬레이션 환경에서 에이전트를 훈련시킨다.
• 네 가지 성능 지표를 사용한 다중목표 평가 프레임워크를 적용하여 제안된 방법을 기존 IRL 및 RL 접근법과 비교한다.

실험 결과

연구 질문

• RQ1 의미론적 보상 항목의 통합이 복잡한 자율주행 시나리오에서 AIRL의 안정성과 성능을 향상시키는가?
• RQ2 증강된 AIRL 방법은 의사결정 품질과 안전성 측면에서 기존의 이민학습 및 강화학습 기반 방법과 비교해 어떻게 성능을 내는가?
• RQ3 학습된 정책이 상호작용적이며 고밀도 교통 환경에서 전문가 수준의 인간 주행 행동을 어느 정도 재현할 수 있는가?
• RQ4 환경 변화와 동적 교통 조건 하에서도 복원된 보상 함수가 여전히 강건하고 해석 가능할까?
• RQ5 의미론적 보상 구성 요소가 정책 네트워크의 수렴성과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 증강된 AIRL 방법은 시뮬레이션 환경에서 비교된 모든 이민학습 및 강화학습 기반 방법보다 뛰어난 성능을 발휘한다.
• 훈련된 차량 에이전트는 복잡하고 상호작용적인 교통 상황에서 전문가 수준의 인간 운전자의 의사결정 행동을 유사하게 보여준다.
• 의미론적 보상 항목의 통합은 AIRL 프레임워크의 학습 안정성과 수렴 속도를 크게 향상시킨다.
• 이 방법은 인간 주행 선호도와 안전 기준에 부합하는 구조적이고 해석 가능한 보상 함수를 성공적으로 복원한다.
• 네 가지로 제안된 평가 지표는 다양한 주행 시나리오에서 증강된 AIRL이 최상의 성능을 내는 것으로 일관되게 랭크한다.
• 복원된 보상 함수는 새로운 교통 조건에도 잘 일반화되어 있으며, 환경 변화에 대한 강건성을 보여준다.