[논문 리뷰] Decision Making for Autonomous Driving via Augmented Adversarial Inverse Reinforcement Learning

Pin Wang, Dapeng Liu외 3명|arXiv (Cornell University)|2019. 11. 19.

Reinforcement Learning in Robotics참고 문헌 29인용 수 6

한 줄 요약

이 논문은 복잡한 상호작용이 있는 자율주행 환경에서 학습을 안정화하고 성능을 향상시키기 위해 판별기 내에 학습 가능한 의미론적 보상 항목을 통합함으로써 AIRL를 개선한 증강형 적대적 역강화학습(Augmented Adversarial Inverse Reinforcement Learning, AugAIRL)을 제안한다. 차선 변경 작업에서 평가된 결과, AugAIRL는 네 가지 평가 지표에서 전문가 시범과 유사한 성능을 달성하였으며, 훈련 및 테스트 단계에서 GAIL, AIRL, TRPO, BC+TRPO 기준선보다 뛰어난 성능을 보였다.

ABSTRACT

Making decisions in complex driving environments is a challenging task for autonomous agents. Imitation learning methods have great potentials for achieving such a goal. Adversarial Inverse Reinforcement Learning (AIRL) is one of the state-of-art imitation learning methods that can learn both a behavioral policy and a reward function simultaneously, yet it is only demonstrated in simple and static environments where no interactions are introduced. In this paper, we improve and stabilize AIRL's performance by augmenting it with semantic rewards in the learning framework. Additionally, we adapt the augmented AIRL to a more practical and challenging decision-making task in a highly interactive environment in autonomous driving. The proposed method is compared with four baselines and evaluated by four performance metrics. Simulation results show that the augmented AIRL outperforms all the baseline methods, and its performance is comparable with that of the experts on all of the four metrics.

연구 동기 및 목표

• 수동적으로 보상 함수를 설계하지 않고도 인간과 유사한 상호작용 의사결정을 학습하는 데 도전한다.
• 동적이고 상호작용적인 환경에서 Adversarial Inverse Reinforcement Learning(AIRL)의 성능을 향상시키고 안정화한다.
• 의미론적 보상을 유사 학습 프레임워크에 통합하기 위한 경량이며 일반화 가능한 방법을 개발한다.
• 고밀도 및 상호작용 조건에서 실질적인 차선 변경 의사결정 작업에 대해 방법을 평가한다.
• 의미적으로 의미 있는 행동을 갖는 시스템과 네 가지 종합적인 평가 지표를 확립한다.

제안 방법

• 정책과 보상 학습을 이끄는 데 도움이 되도록 상태에 의존하는 의미론적 보상 항목을 판별기 네트워크에 연결하여 AIRL 프레임워크를 증강한다.
• 보상 가중치를 적대적 훈련 과정의 일부로 종단 간(end-to-end)으로 훈련시켜 의미론적 보상의 최적 크기를 모델이 학습할 수 있도록 한다.
• 생성적 적대적 프레임워크를 사용하여 판별기가 전문가 시범과 전문가가 생성한 궤적을 구분하고, 동시에 보상 함수와 정책을 공동으로 학습한다.
• 다양한 상호작용하는 에이전트와 복잡한 차선 변경 시나리오를 포함한 시뮬레이션된 자율주행 환경에 증강된 프레임워크를 적용한다.
• 순차적 의사결정을 모델링하기 위해 순환 구조를 가진 정책 네트워크를 사용하고, 전문가 대비 에이전트 궤적 식별과 의미론적 보상 감시를 모두 통합한 판별기를 사용한다.
• 성능을 종합적으로 평가하기 위해 총 보상, 성공 비율, 의사결정 단계 수, 차선 변경 단계 수의 네 가지 평가 지표를 통합한다.

실험 결과

연구 질문

• RQ1 AIRL 프레임워크에 의미론적 보상을 통합함으로써 상호작용이 있는 자율주행 작업에서 학습 안정성과 성능 향상이 이루어지는가?
• RQ2 AugAIRL는 평가 지표 전반에서 기준선의 유사 학습 및 강화학습 방법과 비교해 복제 정확도와 내성적 안정성 측면에서 어떻게 다른가?
• RQ3 명시적인 보상 형태 조정 없이도 복잡하고 동적인 차선 변경 시나리오에서 전문가 수준의 행동을 얼마나 잘 복원할 수 있는가?
• RQ4 의미론적 보상의 포함 여부가 표준 AIRL 및 GAIL 대비 수렴 속도를 빠르게 하고 성능 변동을 줄이는가?
• RQ5 학습된 보상 함수는 다양한 주행 시나리오에 일반화되어 새로운 환경에 적응하는 데 유용한가?

주요 결과

• AugAIRL는 모든 훈련 및 테스트 단계에서 가장 높은 총 보상을 기록하였으며, 전문가 수준의 성능에 지속적으로 수렴하였다.
• 테스트에서 AugAIRL의 성공 비율은 1.0에 도달하여 거의 완벽한 차선 변경 완료를 나타내었으며, 다른 방법들보다 빠른 수렴을 보였다.
• AugAIRL는 의사결정 단계 수와 차선 변경 단계 수가 가장 적어 전문가 행동과 유사한 효율적이고 적절한 시점의 조작을 보였다.
• 모든 평가 지표에서 가장 낮은 변동성을 보이며 GAIL, AIRL, TRPO, BC+TRPO 대비 뛰어난 안정성을 입증하였다.
• 훈련 및 테스트 모두에서 AugAIRL는 모든 기준선을 초월하였으며, 테스트 단계에서 성능 격차가 더욱 벌어져 더 나은 일반화 능력과 내성적 안정성을 보였다.
• 학습 곡선의 형태는 에이전트가 초기에는 보수적으로 행동하다가 점차 차선 변경에 확실히 전환하는 것을 보이며, 전문가의 주저함과 타이밍을 모방하는 것으로 나타났다.