[논문 리뷰] Learning to Drive using Inverse Reinforcement Learning and Deep Q-Networks

Sahand Sharifzadeh, Ioannis Chiotellis외 2명|arXiv (Cornell University)|2016. 12. 12.

Reinforcement Learning in Robotics참고 문헌 13인용 수 70

한 줄 요약

이 논문은 고차원 상태 공간(예: 자율 주행)에서 보상 함수를 추출하기 위해 딥 Q 네트워크(DQN)를 통합한 새로운 역강화학습(IRL) 프레임워크를 제안한다. 투영 기반 IRL과 DQN을 조합하여 가치 함수 근사에 활용함으로써, 전문가의 시연 데이터로부터 인간과 유사하고 충돌이 없는 주행 행동을 학습하며, 시뮬레이션에서 정확한 보상 함수 복원과 전문가 수준의 성능을 달성한다.

ABSTRACT

We propose an inverse reinforcement learning (IRL) approach using Deep Q-Networks to extract the rewards in problems with large state spaces. We evaluate the performance of this approach in a simulation-based autonomous driving scenario. Our results resemble the intuitive relation between the reward function and readings of distance sensors mounted at different poses on the car. We also show that, after a few learning rounds, our simulated agent generates collision-free motions and performs human-like lane change behaviour.

연구 동기 및 목표

• 자율 주행에서 흔한 고차원 상태 공간에서의 보상 함수 학습 과제를 해결하기 위해.
• 딥 Q 네트워크를 활용해 안정적인 가치 함수 근사를 통해 대규모 MDP에 대한 역강화학습을 확장하기 위해.
• 전문가 주행 시연 데이터로부터 해석 가능하고 행동적으로 의미 있는 보상 함수를 추출하기 위해.
• 학습된 보상 함수가 시뮬레이션에서 충돌이 없고 인간과 유사한 주행 정책을 생성하는지 평가하기 위해.
• 방법이 주행의 직관적인 안전성 및 쾌적성 지표와 일치하는 보상 함수를 복원할 수 있는지 검증하기 위해.

제안 방법

• 전문가 시연 데이터로부터 보상 함수를 반복적으로 개선하기 위해 투영 기반 IRL 접근법을 사용한다.
• 기존의 표본 기반 Q-학습의 한계를 극복하기 위해, 대규모 상태 공간에서 Q-값 함수 근사를 위해 딥 Q 네트워크(DQN)를 활용한다.
• IRL 개선 루프 동안 DQN 훈련을 안정화하기 위해 경험 재현과 타겟 네트워크 업데이트를 적용한다.
• 비선형 보상 의존성 모델링을 위해 센서 읽기 값을 이진 특성으로 이산화함으로써 가중치 학습 정확도를 향상시킨다.
• 전문가 행동과 에이전트 행동 간의 특성 기대치 일치를 통해 보상 품질을 평가한다.
• 추출된 보상 함수를 사용해 DQN을 훈련시키고, 충돌 회피, 차선 유지, 진동 최소화를 통해 정책 성능을 평가한다.

실험 결과

연구 질문

• RQ1 딥 Q 네트워크는 자율 주행과 같은 대규모 상태 공간 문제에서 기존 표본 기반 Q-학습을 효과적으로 대체할 수 있는가?
• RQ2 제안된 IRL-DQN 프레임워크는 안전한 차선 변경과 장애물 회피를 포함한 인간과 유사한 주행 행동을 유도하는 보상 함수를 복원하는가?
• RQ3 추출된 보상 가중치는 장애물과의 거리, 차선 위치와 같은 직관적인 주행 안전성 지표와 얼마나 잘 상관되는가?
• RQ4 특성 기대치와 운동 계획 품질 측면에서 에이전트의 행동은 전문가 시연과 얼마나 유사한가?
• RQ5 이 방법은 광범위한 재훈련이나 인간이 설계한 보상 형상화 없이도 새로운 시나리오로 일반화 가능한가?

주요 결과

• 추출된 보상 가중치는 센서 읽기 값과 비선형적이고 직관적인 관계를 보이며, 모델이 의미 있는 안전성 및 쾌적성 지표를 학습했다는 것을 시사한다.
• 센서 6(측면 방향)는 최소 거리에서 가장 높은 가중치를 확보했으며, 이는 전문가가 차선 벽에 가까이 머무르는 것을 선호하고 차선 중앙으로 이격되는 것을 피한다는 것을 반영한다.
• 에이전트는 모든 시험 시나리오에서 100% 장애물 회피를 달성했고, 필수적인 조작 외에는 차선 유지 상태를 유지했다.
• 에이전트의 운동에서 진동 값은 전문가와 유사했으며, 부드럽고 쾌적한 주행 행동을 나타낸다.
• 각각 3000회의 내부 DQN 스텝을 포함한 6회의 IRL 반복 후, 대부분의 경우 전문가와의 특성 기대치 차이가 0.2 이하였고, 최대 편차는 0.209였다.
• 시각화 결과는 운동 계획의 점진적 향상을 보여주며, 초기 반복에서는 비정상적인 경로를 보이다가 후기 단계에서는 안정적이고 인간과 유사한 차선 변경 및 장애물 회피 행동으로 발전한다.