[논문 리뷰] Efficient Risk-Averse Reinforcement Learning

Ido Greenberg, Yinlam Chow외 2명|arXiv (Cornell University)|2022. 05. 10.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 환경 조건 샘플링과 정책 최적화를 분리함으로써 위험 회피 강화학습에서 '성공에 대한 盲점' 문제를 해결하는 새로운 크로스엔트로피 소프트리스크 최적화 알고리즘인 CeSoR을 제안한다. 소프트 리스크 스케줄링과 동적 타겟 크로스엔트로피 샘플러를 통해, 표준 위험 회피 PG 방법이 실패하는 상황에서도 높은 수익, 낮은 위험 전략을 효율적으로 학습할 수 있으며, 미로 탐색, 자율 주행, 자원 할당 벤치마크에서 모두 뛰어난 CVaR 성능을 달성한다.

ABSTRACT

In risk-averse reinforcement learning (RL), the goal is to optimize some risk measure of the returns. A risk measure often focuses on the worst returns out of the agent's experience. As a result, standard methods for risk-averse RL often ignore high-return strategies. We prove that under certain conditions this inevitably leads to a local-optimum barrier, and propose a soft risk mechanism to bypass it. We also devise a novel Cross Entropy module for risk sampling, which (1) preserves risk aversion despite the soft risk; (2) independently improves sample efficiency. By separating the risk aversion of the sampler and the optimizer, we can sample episodes with poor conditions, yet optimize with respect to successful strategies. We combine these two concepts in CeSoR - Cross-entropy Soft-Risk optimization algorithm - which can be applied on top of any risk-averse policy gradient (PG) method. We demonstrate improved risk aversion in maze navigation, autonomous driving, and resource allocation benchmarks, including in scenarios where standard risk-averse PG completely fails.

연구 동기 및 목표

• 위험 회피 강화학습에서 악성 결과에 대한 과도한 집중으로 인해 높은 수익 전략을 간과하는 '성공에 대한 盲점' 문제를 해결하기 위해.
• 표준 CVaR-PG 방법에서 기각되는 높은 수익 경로의 낭비를 줄임으로써 위험 회피 RL의 샘플 효율성을 향상시키기 위해.
• 높은 지식적 불확실성(예: 미로에서의 무작위 감시자 존재)과 애날로티크 불확실성(예: 확률적 동작)이 존재하는 환경에서 강건한 위험 회피 정책의 효과적 학습을 가능하게 하기 위해.
• 아키텍처 변경 없이도 어떤 위험 회피 정책 그래เดียน트 방법에도 적용 가능한 일반 목적의 프레임워크를 개발하기 위해.
• 위험 회피 샘플링과 위험 회피 최적화를 분리함으로써 CVaR 성능 향상과 실제 벤치마크에서의 강건성 향상이 실제로 이루어지는지 경험적으로 검증하기 위해.

제안 방법

• 소프트 리스크 스케줄링 도입: 위험 중립($\alpha' = 1$)에서 목표 리스크 수준($\alpha$)으로 점진적으로 리스크 회피를 증가시켜, 초기에 높은 수익 전략을 탐색할 수 있도록 한다.
• 동적 타겟 크로스엔트로피 방법(CEM) 제안: 에이전트 성능과는 별개로 가장 도전적인 환경 조건(예: 미로 내 감시자)을 갖는 경로를 샘플링한다.
• 샘플러(어려운 조건에 집중)와 최적화기(낮은 수익에 집중)를 분리함으로써, 높은 수익 전략과 고위험 시나리오 양쪽 모두에 노출될 수 있도록 한다.
• CEM을 활용해 저수익 결과를 유도할 가능성이 가장 높은 환경 조건의 분포를 생성함으로써, CVaR 최적화를 위한 훈련 데이터 품질을 향상시킨다.
• 소프트 리스크 스케줄링과 동적 CEM 샘플링을 융합하여, 어떤 미분 가능한 위험 회피 정책 그래디언트 방법에도 호환되는 플러그인 알고리즘인 CeSoR을 개발한다.
• 소프트 리스크 조정된 수익 분포를 기반으로 정책 그래디언트를 통해 훈련되는 미분 가능한 신경망 정책를 사용함으로써, 종단 간 미분 가능성과 수렴성을 보장한다.

실험 결과

연구 질문

• RQ1 위험 회피 강화학습에서 고위험 환경 조건의 샘플링과 저수익 경로 최적화를 분리함으로써 성능을 향상시킬 수 있는가?
• RQ2 소프트 리스크 스케줄링은 악성 결과 에피소드에 집중함으로써 고수익 전략이 전혀 관측되지 않는 '성공에 대한 盲점' 문제를 완화하는가?
• RQ3 크로스엔트로피 방법을 동적으로 가장 도전적인 환경 조건을 향해 조정함으로써, 위험 회피 훈련의 샘플 효율성을 향상시킬 수 있는가?
• RQ4 다양한 벤치마크에서 CeSoR은 표준 위험 회피 PG 및 DRL 방법에 비해 CVaR과 평균 수익 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 소프트 리스크 스케줄링과 동적 CEM 샘플링의 조합이 우수한 성능을 내는 데 필수적인가, 아니면 각각 독립적으로 기여하는가?

주요 결과

• 감시자 있는 미로 벤치마크에서 CeSoR은 CVaR(0.05) 수익으로 -7을 달성하여 GCVaR(-32)와 PG(4)를 크게 앞서며, 장거리 전략을 효과적으로 학습함을 입증한다.
• 자율 주행 벤치마크에서 CeSoR은 리더와 안전한 거리를 유지하며, 위험 중립 PG가 사고를 일으키거나 GCVaR가 지나치게 보수적인 행동을 보이는 것과는 대조적으로 안정적인 주행을 구현한다.
• 자원 할당 작업에서 CeSoR은 평균적으로 5台의 서버만 할당하며, 피크 부하를 처리하지 못하는 PG와는 달리, 사전에 8대를 할당해 더 높은 비용을 유발하는 GCVaR를 능가한다.
• 절단 실험 결과, 소프트 리스크와 CEM 샘플러 모두 필수적임을 확인: CeR과 SoR는 각각 CeSoR보다 CVaR 및 평균 수익에서 열등한 성능을 보이며, 이 두 구성 요소 간의 상호보완성이 확인된다.
• 감시자 있는 미로에서 GCVaR는 훈련 배치에서 높은 수익, 낮은 위험 경로를 한 번도 관측하지 못해 완전히 실패하는 반면, CeSoR은 최적의 장거리 전략을 성공적으로 학습한다.
• 분포형 RL 실험에서 CeSoR은 위험 중립 QR-DQN과 위험 회피 CVaR-DRL 변형을 모두 능가하며, CVaR(0.05)로 -7을 달성하여 GCVaR의 -32를 상회함으로써, PG 방법을 초월한 우수성을 확인한다.