[논문 리뷰] Parametric Return Density Estimation for Reinforcement Learning

Tetsuro Morimura, Masashi Sugiyama외 3명|arXiv (Cornell University)|2012. 03. 15.

Evolutionary Algorithms and Applications참고 문헌 17인용 수 41

한 줄 요약

이 논문은 강화학습에서 수익의 확률 밀도를 추정하기 위한 파rametric 방법을 제안하며, 조건부 수익 밀도를 모델링하기 위해 벨먼 방정식을 확장한다. 가우시안, 라플라스, 비대칭 라플라스 분포를 사용함으로써 일반화된 TD-학습 알고리즘을 통해 위험 감수성 및 강건한 강화학습을 가능하게 한다. 수치 실험을 통해 위험 인식 기준에서 향상된 성능을 보여주었다.

ABSTRACT

Most conventional Reinforcement Learning (RL) algorithms aim to optimize decision-making rules in terms of the expected returns. However, especially for risk management purposes, other risk-sensitive criteria such as the value-at-risk or the expected shortfall are sometimes preferred in real applications. Here, we describe a parametric method for estimating density of the returns, which allows us to handle various criteria in a unified manner. We first extend the Bellman equation for the conditional expected return to cover a conditional probability density of the returns. Then we derive an extension of the TD-learning algorithm for estimating the return densities in an unknown environment. As test instances, several parametric density estimation algorithms are presented for the Gaussian, Laplace, and skewed Laplace distributions. We show that these algorithms lead to risk-sensitive as well as robust RL paradigms through numerical experiments.

연구 동기 및 목표

• 기존의 강화학습 알고리즘이 기대 수익만 최적화하는 데에 그치는 한계를 해결하기 위해, 위험 감수성 응용 분야에 부적합할 수 있음을 다루기 위해.
• 수익의 전체 밀도를 추정할 수 있는 통합 프레임워크를 개발하여 다양한 위험 감수성 성능 기준의 사용을 가능하게 하기 위해.
• 알 수 없는 환경에서 수익의 조건부 확률 밀도를 다룰 수 있도록 벨먼 방정식과 TD-학습을 확장하기 위해.
• 특정 분포(Gaussian, Laplace, 비대칭 라플라스)에 적용 가능한 실용적인 파arametric 밀도 추정 알고리즘을 설계하기 위해.
• 수치 실험을 통해 제안된 방법이 강건하고 위험 감수성 있는 의사결정을 달성하는 데 효과적임을 입증하기 위해.

제안 방법

• 기대 수익이 아닌 조건부 수익 밀도를 모델링하기 위해 표준 벨먼 방정식을 확장한다.
• 시간 차이 오차를 기반으로 파arametric 수익 밀도 모델의 파라미터를 갱신하는 일반화된 TD-학습 알고리즘을 유도한다.
• 가우시안, 라플라스, 비대칭 라플라스와 같은 파arametric 가족을 사용하여 수익 밀도를 표현함으로써, 계산이 용이하고 효율적인 학습을 가능하게 한다.
• 확장된 벨먼 방정식에서 유도된 밀도 추정 손실을 최소화하는 파라미터 갱신 규칙을 설정한다.
• 알 수 없는 환경에서 수익 밀도를 추정하기 위해 모델 프리, 오프-폴리시 설정에서 방법을 적용한다.
• 추정된 수익 밀도를 사용하여 Value-at-Risk 및 기대 손실과 같은 위험 감수성 지표를 계산한다.

실험 결과

연구 질문

• RQ1 가우시안, 라플라스, 비대칭 라플라스와 같은 파arametric 분포를 사용하여 강화학습에서 수익 밀도를 효과적으로 모델링할 수 있는가?
• RQ2 벨먼 방정식은 어떻게 일반화되어 수익의 조건부 밀도 추정을 지원할 수 있는가?
• RQ3 제안된 TD-학습 확장이 알 수 없는 환경에서 수익 밀도의 안정적이고 정확한 추정을 달성할 수 있는가?
• RQ4 이 방법은 위험 감수성 및 강건한 강화학습 기준에서 성능을 어느 정도 향상시키는가?
• RQ5 수익 밀도의 다양한 파arametric 형태는 정책의 강건성과 위험 감수성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 TD-학습을 확장하여 수익의 전체 밀도를 추정함으로써, 강화학습에서 위험 감수성 제어를 가능하게 했다.
• 수치 실험을 통해 이 방법은 Value-at-Risk 및 기대 손실과 같은 위험 인식 기준에서 향상된 성능을 달성함을 입증했다.
• 비대칭 라플라스 분포의 사용은 가우시안 또는 표준 라플라스보다 꼬리가 두꺼우며 비대칭적인 수익 분포를 더 잘 모델링할 수 있는 유연성을 제공한다.
• 파arametric 밀도 추정 프레임워크는 단일 학습 알고리즘 내에서 다양한 위험 감수성 성능 측정 지표를 통합적으로 처리할 수 있게 했다.
• 알고리즘은 분포 이동에 대해 강건성을 보이며, 위험 감수성 환경에서 기대 수익 기반의 표준 RL보다 성능이 뛰어나다.
• 추가적인 롤아웃이나 복잡한 샘플링 절차 없이도 위험 지표를 효율적으로 계산할 수 있다.