[논문 리뷰] Model-based Constrained Reinforcement Learning using Generalized Control Barrier Function

Haitong Ma, Jianyu Chen외 5명|arXiv (Cornell University)|2021. 03. 02.

Vehicle emissions and performance인용 수 8

한 줄 요약

이 논문은 일반화된 제어 장벽함수(GCBF)를 사용한 모델 기반 제약 있는 강화학습 방법을 제안하여 안전성과 샘플 효율성을 향상시킨다. 예측된 시스템 경로를 활용해 제약 경계에 가까워지는 행동에 대해 페널티를 주어 학습 중에 안전 제약을 위반하지 않도록 하며, 이로 인해 제약 위반은 최대 73.83% 감소하고 기준 방법 대비 수렴 속도는 3.36배 빨라진다.

ABSTRACT

Model information can be used to predict future trajectories, so it has huge potential to avoid dangerous region when implementing reinforcement learning (RL) on real-world tasks, like autonomous driving. However, existing studies mostly use model-free constrained RL, which causes inevitable constraint violations. This paper proposes a model-based feasibility enhancement technique of constrained RL, which enhances the feasibility of policy using generalized control barrier function (GCBF) defined on the distance to constraint boundary. By using the model information, the policy can be optimized safely without violating actual safety constraints, and the sample efficiency is increased. The major difficulty of infeasibility in solving the constrained policy gradient is handled by an adaptive coefficient mechanism. We evaluate the proposed method in both simulations and real vehicle experiments in a complex autonomous driving collision avoidance task. The proposed method achieves up to four times fewer constraint violations and converges 3.36 times faster than baseline constrained RL approaches.

연구 동기 및 목표

• 모델 자유형 제약 있는 강화학습에서 탐색 과정에서 반드시 발생하는 제약 위반의 안전성 문제를 해결하기 위해.
• 장수평 이동을 줄여 예측 정확도 저하와 샘플링 비용 증가를 방지함으로써 제약 있는 강화학습의 샘플 효율성을 향상시키기 위해.
• 예측 동역학을 활용해 제약 경계에 가까워지는 경향에 대해 페널티를 주는 방식으로, 매 이동 단계에서 제약을 강제로 이행하지 않는 모델 기반 접근법을 개발하기 위해.
• 정책 최적화가 불가능해질 경우 제약 이행을 향상시키기 위한 적응형 계수 기법을 도입하기 위해.
• 충돌 회피를 위한 시뮬레이션 및 실제 자율주행 차량 실험을 통해 방법의 유효성을 검증하기 위해.

제안 방법

• 모델 기반 예측 경로를 사용하여 제약 경계까지의 거리 변화율을 페널티로 삼는 일반화된 제어 장벽함수(GCBF)를 적용한다. 이는 매 시간 단계에서 제약을 강제로 이행하는 것이 아니라, 제약 경계에 가까워지는 경향을 억제함으로써 안전성을 확보한다.
• 짧은 수평(1~2단계) 동안의 모델 예측 경로를 사용하여 향후 시스템 상태를 추정하고 GCBF 페널티를 계산한다.
• 근사 라그랑주 방법을 활용해 제约束 정책 기울기를 계산하며, GCBF 페널티를 액터 업데이트에 통합하여 타당성을 유지한다.
• 최적화가 불가능해질 경우 수렴성을 향상시키기 위해 동적으로 GCBF 페널티 강도를 조정하는 적응형 보수성 계수를 도입한다.
• 모델 기반 예측과 장벽함수 제약을 조합하여 학습 중 제약 위반을 방지하면서도 높은 샘플 효율성을 유지한다.
• 실제 자율주행 차량 플랫폼에서 신경망 기반 제어기와 플래너를 포함한 병렬 차량 내부 아키텍처로 구현된다.

실험 결과

연구 질문

• RQ1 장수평 이동이 필요 없는 상태에서 모델 기반 예측을 활용해 제약 있는 강화학습의 안전성을 향상시킬 수 있는가?
• RQ2 제약 경계까지의 거리에 기반한 일반화된 제어 장벽함수(GCBF)가 정책 학습 중 제약 위반을 효과적으로 방지할 수 있는가?
• RQ3 단기 수평의 GCBF 제약을 사용할 경우 다단계 제약 이행 대비 샘플 효율성이 향상되는가?
• RQ4 적응형 계수 기법이 원래 수식이 불가능해질 경우 제약 있는 정책 최적화의 타당성을 향상시킬 수 있는가?
• RQ5 제안된 방법은 실제 자율주행 과제에서 뛰어난 안전성과 수렴 성능을 달성하는가?

주요 결과

• 제안된 방법은 기준 제약 있는 강화학습 방법 대비 학습 중 제약 위반을 최대 73.83% 감소시켰다.
• 기준 모델 기반 제약 있는 강화학습 대비 3.36배 빠른 수렴 속도를 달성하여 샘플 효율성 향상이 뚜렷하게 입증되었다.
• 실차 실험에서 학습된 정책은 감속, 가속, 정지, 경로 이탈 등의 다양한 충돌 회피 행동을 성공적으로 수행하였다.
• 다양한 주변 차량 구성이 있는 좌회전, 직진, 우회전 포함 총 9개의 복잡한 교통 상황에서 알고리즘이 견고한 성능을 보였다.
• 이론적 분석을 통해 GCBF 수식이 업데이트당 최소한의 샘플링 단계를 요구함을 증명하여 효율성 우월성을 뒷받침하였다.
• 개선에도 불구하고 근사 해법 기법으로 인해 제약 위반이 여전히 발생하여, 보완 기법(예: 증강 라그랑주)을 통해 추가 향상 가능성이 있음을 시사하였다.