[논문 리뷰] Particle Value Functions

Chris J. Maddison, Dieterich Lawson외 5명|arXiv (Cornell University)|2017. 03. 16.

Complex Systems and Time Series Analysis인용 수 8

한 줄 요약

이 논문은 입자 필터를 사용하여 지수 utility 기반의 가치 함수를 근사함으로써, 고분산 환경에서 더 안정적인 정책 그래디언트 학습을 가능하게 하는 위험 감수성 강화학습 목적함수인 입자 가치 함수(PVF)를 소개한다. Cliffworld 환경에서 β=1.0 및 K=3개의 입자를 사용할 경우, 표준 REINFORCE와 VIMCO가 실패한 상황에서도 작업 해결이 간헐적으로 가능해졌으며, 이는 희귀한 고보상 경로의 탐색 능력 향상을 보여준다.

ABSTRACT

The policy gradients of the expected return objective can react slowly to rare rewards. Yet, in some cases agents may wish to emphasize the low or high returns regardless of their probability. Borrowing from the economics and control literature, we review the risk-sensitive value function that arises from an exponential utility and illustrate its effects on an example. This risk-sensitive value function is not always applicable to reinforcement learning problems, so we introduce the particle value function defined by a particle filter over the distributions of an agent's experience, which bounds the risk-sensitive one. We illustrate the benefit of the policy gradients of this objective in Cliffworld.

연구 동기 및 목표

• 희귀한 고보상 경로가 필수적인 상황에서 기대 수익에 대한 정책 그래디언트의 느린 수렴 문제를 해결하기 위해.
• 실제로 불안정하거나 고분산일 수 있는 지수 utility 기반 위험 감수성 가치 함수의 확장 가능하고 수치적으로 안정적인 대체 방법을 개발하기 위해.
• 이러한 결과가 희귀하더라도, 위험 선호도에 따라 낮은 또는 높은 수익을 강조할 수 있도록 강화학습 에이전트를 설계하기 위해.
• 무한한 표본 수 근처에서 수렴하는 동안 위험 감수성 가치 함수를 경계할 수 있는 방법을 설계하기 위해, 비선형 함수 근사와 함께 대규모 강화학습에 적합한 방법을 제안하기 위해.

제안 방법

• K개의 입자를 사용하여 상태-행동 경로를 나타내는 입자 가치 함수(PVF)를 제안하며, 이는 위험 감수성 가치 함수를 근사한다.
• PVF를 K개의 독립적인 몬테카를로 시뮬레이션 결과의 유한한 합으로 정의하며, 가치 함수는 총 보상에 대한 지수의 기대값의 로그를 β의 역수로 곱하여 계산된다.
• 보상 분포를 표현하기 위해 부트스트랩 입자 필터를 사용하여, 전체 분포 추론이 필요 없이도 위험 감수성 목표 함수를 효율적으로 추정할 수 있다.
• PVF 목적함수에 대해 정책 그래디언트를 적용하며, 분산 감소를 위해 제어 변수를 사용하고, REINFORCE 및 VIMCO 기준선과 비교한다.
• 유한 시간 평행 작업을 모델링하기 위해 시간에 따라 변하는 파rameter를 가진 비정상적인 정책 파arameter화를 도입한다.
• β=0일 경우 수정된 REINFORCE 추정기와 β≠0일 경우 VIMCO 스타일의 제어 변수를 사용하며, 각 경우에 대해 별도의 기준 함수를 제공한다.

실험 결과

연구 질문

• RQ1 희귀한 고보상 경로를 강조하는 위험 감수성 가치 함수가 고보상 분산이 큰 환경에서 정책 그래디언트 수렴을 향상시킬 수 있는가?
• RQ2 대규모 강화학습에서 비선형 함수 근사와 함께 지수 utility 기반 위험 감수성 가치 함수를 신뢰성 있게 근사할 수 있는가?
• RQ3 위험 감수성 가치 함수의 입자 기반 근사는 VIMCO 및 REINFORCE와 같은 기존 방법보다 희귀 보상 작업 해결에서 더 우수한 성능을 보일 수 있는가?
• RQ4 위험 선호도(β)와 입자 수(K)가 정책 그래디언트가 고보상, 저확률 경로를 발견하는 데 미치는 영향은 무엇인가?

주요 결과

• Cliffworld 환경에서 β=1.0 및 K=3개의 입자를 사용할 경우 PVF는 일부 실행에서 작업 해결이 가능했지만, 동일한 설정에서 REINFORCE와 VIMCO는 작업을 해결하지 못했다.
• β=1.0 및 K=3일 경우 PVF는 일부 실행에서 Cliffworld를 해결했고, VIMCO는 그렇지 못했으며, 이는 PVF가 희귀한 고보상 경로 탐색에서의 우수성을 보여준다.
• Cliffworld에서 최적값에 도달하는 영역이 증가함에 따라 β가 증가함에 따라 확장되었으며, 이는 비볼록 보상 구조에서 위험 유혹 행동이 수렴을 향상시킬 수 있음을 시사한다.
• VIMCO는 작업을 해결할 수 있게 되면 PVF보다 더 신뢰성이 높았지만, 동일한 조건(K=3, β=1.0)에서 VIMCO가 실패한 상황에서 PVF는 성공했으며, 이는 PVF의 우월성을 보여준다.
• 기대 수익에 기반한 표준 REINFORCE 알고리즘은 이 Cliffworld 변형에서는 결코 작업을 해결하지 못했으며, 이는 희귀 보상 환경에서 위험 중립적 목적함수의 한계를 드러낸다.
• PVF 목적함수는 직접적인 지수 utility 추정의 불안정성을 피하기 때문에 수치적으로 안정적이며, 대규모 강화학습에 적합하다.