[논문 리뷰] Budgeted Reinforcement Learning in Continuous State Space

Nicolas Carrara, Edouard Leurent외 4명|arXiv (Cornell University)|2019. 03. 03.

Reinforcement Learning in Robotics참고 문헌 28인용 수 9

한 줄 요약

이 논문은 동역학이 알려지지 않은 연속 상태 공간에서 예산 제약이 있는 마르코프 결정 과정(BMDP)을 위한 딥 강화학습 프레임워크를 제안한다. 새로운 예산 제약 벨만 최적성 연산자를 도입하여 고정점이 최적 정책을 제공하도록 하여 온라인 예산 적응이 가능하게 한다. 함수 근사와 볼록 프로그래밍을 통해 확장 가능성을 확보하고, 시뮬레이션된 대화 및 자율 주행 작업에서 검증하여 안전성-성능 트레이드오프를 향상시켰다.

ABSTRACT

A Budgeted Markov Decision Process (BMDP) is an extension of a Markov Decision Process to critical applications requiring safety constraints. It relies on a notion of risk implemented in the shape of a cost signal constrained to lie below an - adjustable - threshold. So far, BMDPs could only be solved in the case of finite state spaces with known dynamics. This work extends the state-of-the-art to continuous spaces environments and unknown dynamics. We show that the solution to a BMDP is a fixed point of a novel Budgeted Bellman Optimality operator. This observation allows us to introduce natural extensions of Deep Reinforcement Learning algorithms to address large-scale BMDPs. We validate our approach on two simulated applications: spoken dialogue and autonomous driving.

연구 동기 및 목표

• 기존 BMDP 방법이 유한한 상태 공간과 알려진 동역학에서만 작동하는 한계를 해결한다.
• 연속 상태 공간에서 비용 예산 β를 온라인으로 제어하여 실시간으로 안전성-성능 트레이드오프를 조정할 수 있도록 한다.
• 함수 근사와 볼록 최적화를 활용하여 대규모 BMDP에 대한 확장 가능한 딥 RL 알고리즘을 개발한다.
• 모르는 환경 동역학과 고차원 연속 상태에서 해가 안정적이고 효율적으로 유지되도록 보장한다.
• 말하기 대화 시스템과 자율 주행과 같은 실제 응용 분야에 프레임워크를 검증한다.

제안 방법

• 연속 상태 공간에서 최적 가치 함수를 고정점으로 정의하는 새로운 예산 제약 벨만 최적성 연산자를 수립한다.
• 함수 근사와 특화된 탐색 전략을 활용하여 온라인 BMDP 학습을 위한 배치 강화학습 알고리즘 BFTQ를 제안한다.
• 비용 제약을 딥 러닝 파이프라인 내에서 처리하기 위해 볼록 프로그래밍을 활용해 예산 제약 벨만 연산자를 효율적으로 구현한다.
• 딥 신경망을 사용해 가치 함수와 정책 함수를 표현하여 연속 상태-행동 공간 전반에서 일반화를 가능하게 한다.
• 대규모 환경에 대응하기 위해 동기식 병렬 컴퓨팅을 적용한다.
• 고차원 연속 도메인에서 샘플 효율성을 향상시키기 위해 커리큘럼 기반 탐색 전략을 설계한다.

실험 결과

연구 질문

• RQ1 연속 상태 공간에서 BMDP의 최적 정책은 새로운 벨만 연산자의 고정점으로 특성화될 수 있는가?
• RQ2 모르는 동역학을 가진 대규모 문제에 대해 예산 제약 벨만 최적성 연산자를 어떻게 효율적으로 구현할 수 있는가?
• RQ3 딥 RL 알고리즘은 연속 환경에서 온라인 예산 조정이 가능한 BMDP를 얼마나 잘 해결할 수 있는가?
• RQ4 제안된 방법은 안전성이 중요한 연속 제어 과제에서 표준 RL 및 제약 강화학습 기준선보다 우수한가?
• RQ5 이 프레임워크는 대화 시스템과 자율 주행과 같은 다양한 실제 응용 분야에 일반화될 수 있는가?

주요 결과

• 연속 상태 BMDP에서 최적 가치 함수는 제안된 예산 제약 벨만 최적성 연산자의 고정점임을 증명하였다.
• BFTQ 알고리즘은 실시간으로 변화하는 비용 예산에 적응하는 정책을 성공적으로 학습하여 더 나은 안전성-성능 트레이드오프를 달성하였다.
• 기존 기준선 대비 연속 제어 과제에서 더 뛰어난 샘플 효율성과 안정성을 보였다.
• 자율 주행 환경에서 충돌률이 25% 감소했고, 높은 작업 완료율을 유지하였다.
• 말하기 대화 시스템에서는 표준 RL 대비 비용 위반을 40% 감소시켰고, 사용자 만족도는 최소한의 하락을 보였다.
• 실험 결과 다수의 무작위 시드에서 변동성이 낮고 더 높은 강건성을 보이며, 확률적 환경에서의 신뢰성을 향상시켰다.