[논문 리뷰] Reinforcement Learning with Probabilistic Guarantees for Autonomous Driving

Maxime Bouton, Jesper Karlsson외 4명|arXiv (Cornell University)|2019. 04. 15.

Autonomous Vehicle Technology and Safety참고 문헌 19인용 수 31

한 줄 요약

이 논문은 자율주행 환경에서 선형 시간논리(LTL)를 사용하여 안전 사양에 대한 확률적 보장을 강제하는 강화학습 프레임워크를 제안한다. 모델 체킹을 통해 사전에 안전한 동작를 계산하고 탐색을 오직 이러한 동작들로 제한함으로써, 사용자가 정의한 신뢰수준으로 정책이 LTL 공식을 만족하도록 보장한다. 이는 훈련 안정성과 안전성을 크게 향상시키며, 보상 설계를 단순화한다. 이는 보행자와 차량이 존재하는 신호등이 없는 교차로 시나리오에서 입증되었다.

ABSTRACT

Designing reliable decision strategies for autonomous urban driving is challenging. Reinforcement learning (RL) has been used to automatically derive suitable behavior in uncertain environments, but it does not provide any guarantee on the performance of the resulting policy. We propose a generic approach to enforce probabilistic guarantees on an RL agent. An exploration strategy is derived prior to training that constrains the agent to choose among actions that satisfy a desired probabilistic specification expressed with linear temporal logic (LTL). Reducing the search space to policies satisfying the LTL formula helps training and simplifies reward design. This paper outlines a case study of an intersection scenario involving multiple traffic participants. The resulting policy outperforms a rule-based heuristic approach in terms of efficiency while exhibiting strong guarantees on safety.

연구 동기 및 목표

• 자율주행에 대한 강화학습에서 성능 보장의 부족을 해결하기 위해.
• 복잡한 안전 사양을 선형시간논리(LTL)로 표현한 정책을 증명 가능하게 훈련시킬 수 있도록 하기 위해.
• 보상 설계에서 안전 제약 조건을 분리함으로써 보상 함수 설계를 단순화하기 위해.
• 불확실하고 다중 에이전트가 존재하는 환경에서 훈련 효율성과 정책 신뢰도를 향상시키기 위해.
• 특정 주행 시나리오를 초월하여도 적용 가능한 확장 가능한 일반화된 프레임워크를 제공하기 위해.

제안 방법

• 자율주행 환경을 마르코프 결정 과정(MDP)으로 모델링한다.
• 모델 체킹을 사용하여 각 상태에서 주어진 LTL 사양을 원하는 확률로 만족하는 동작 집합을 사전에 식별한다.
• 훈련 중 강화학습 에이전트의 동작 공간을 모델 체커가 안전하다고 판단한 동작들로만 제약한다.
• 제약된 동작 공간에서 표준 강화학습 알고리즘(PPO 등)을 적용하여 누적 보상을 최대화한다.
• 무한 수렴 모델 체킹을 활용하여 LTL의 장기적 시간적 성질을 다룬다.
• 모델 체킹 단계에서 도출된 확률적 보장을 최종 훈련된 정책으로 이관한다.

실험 결과

연구 질문

• RQ1 자율주행을 위한 강화학습 에이전트를 훈련시키는 동안 안전 사양에 대한 확률적 보장을 보장할 수 있는가?
• RQ2 오직 LTL 호환 동작들로만 탐색을 제약할 경우, 훈련 안정성과 수렴에 어떤 영향을 미치는가?
• RQ3 이 방법은 다목적 주행 시나리오에서 보상 함수 설계를 어느 정도 단순화시킬 수 있는가?
• RQ4 안전 강화학습 정책의 성능은 규칙 기반 및 표준 강화학습 베이스라인 대비 안전성과 효율성 측면에서 어떻게 비교되는가?
• RQ5 이 프레임워크는 다수의 상호작용하는 에이전트가 존재하는 복잡하고 불확실한 환경으로 일반화될 수 있는가?

주요 결과

• 안전 강화학습 정책은 10,000회의 시뮬레이션 전역에서 충돌률 0.00%를 기록하여 강력한 안전 보장을 입증하였다.
• 안전 강화학습 정책는 규칙 기반 히우리스틱보다 효율성이 뛰어나 평균 목표 도달 시간 28.47초를 기록한 반면, 규칙 기반 방법은 30.00초였다.
• 표준 강화학습 정책는 높은 효율성(평균 22.16초)을 기록했지만 충돌률 0.96%를 기록하여 안전성 측면에서 열악한 성능을 보였다.
• 안전 강화학습 접근법은 보상 가중치 조정만으로는 도달할 수 없었던, 안전-효율성 파레토 경계상의 새로운 운영 포인트에 접근할 수 있었다.
• 안전 강화학습의 훈련 과정은 안정적이었으며, 훈련 중에 충돌이 관측되지 않아 동작공간 제약의 효과성을 확인하였다.
• 이 방법은 모델 체킹 단계에서 유도된 확률적 보장을 최종 정책으로 성공적으로 이관하였으며, 안전성에 대해 최소 0.9999의 신뢰 수준을 확보하였다.