[논문 리뷰] Distribution Estimation in Discounted MDPs via a Transformation.

Shuai Ma, Jia Yuan Yu|arXiv (Cornell University)|2018. 04. 16.

Formal Methods in Verification참고 문헌 24인용 수 2

한 줄 요약

이 논문은 할인된 MDP에서 전이 기반 보상 함수를 상태 기반으로 변환하는 변환을 제안하며, 누적 할인 보상의 분포를 유지한다. 정확한 분포 추정—특히 Value-at-Risk와 같은 위험 민감한 목표에 대해—을 가능하게 하여, 보상이 상태 전이에 의존할 경우에도 정확한 가치 추정을 보장하며, 약간의 정규 분포를 띠는 보상 분포에 적용 가능하다.

ABSTRACT

Although the general deterministic reward function in MDPs takes three arguments - current state, action, and next state; it is often simplified to a function of two arguments - current state and action. The former is called a transition-based reward function, whereas the latter is called a state-based reward function. When the objective is a function of the expected cumulative reward only, this simplification works perfectly. However, when the objective is risk-sensitive - e.g., depends on the reward distribution, this simplification leads to incorrect values of the objective. This paper studies the distribution estimation of the cumulative discounted reward in infinite-horizon MDPs with finite state and action spaces. First, by taking the Value-at-Risk (VaR) objective as an example, we illustrate and analyze the error from the above simplification on the reward distribution. Next, we propose a transformation for MDPs to preserve the reward distribution and convert transition-based reward functions to deterministic state-based reward functions. This transformation works whether the transition-based reward function is deterministic or stochastic. Lastly, we show how to estimate the reward distribution after applying the proposed transformation in different settings, provided that the distribution is approximately normal.

연구 동기 및 목표

• 위험 민감한 MDP에서 전이 기반 보상(상태-행동-다음 상태)을 상태 기반 보상(상태-행동)으로 단순화함으로써 발생하는 오차를 해결하기 위해.
• 상태 기반 보상 함수를 사용할 경우 누적 할인 보상의 진짜 분포를 유지하기 위해.
• 특히 Value-at-Risk와 같은 위험 민감한 목표에 대해 변환 후 보상 분포를 정확하게 추정할 수 있도록 하기 위해.
• 정규 및 확률적 전이 기반 보상 함수에 모두 적용 가능한 일반적인 변환을 개발하기 위해.
• 변환 후 약간의 정규성 가정 하에 보상 분포 추정을 위한 프레임워크를 제공하기 위해.

제안 방법

• 원래의 전이 기반 보상이 있는 MDP를 동일한 누적 할인 보상 분포를 유지하는 상태 기반 보상이 있는 등가 MDP로 매핑하는 변환을 제안한다.
• 전이 정보를 상태 공간에 인코딩하는 상태 증강 기법을 사용하여 변환을 정의함으로써 보상 분포의 정밀도를 확보한다.
• 정규 및 확률적 전이 기반 보상 함수에 모두 변환을 적용하여 그 일반성을 입증한다.
• 변환된 MDP를 사용하여 모멘트 기반 방법을 통해 누적 할인 보상의 분포를 추정하며, 약간의 정규성 가정을 사용한다.
• 변환된 MDP의 구조를 활용하여 표준 동적 프로그래밍 또는 학습 기법을 사용해 위험 민감도 지표인 Value-at-Risk 등을 계산한다.
• 변환된 MDP에서 누적 보상의 분포가 원래 MDP와 일치함을 보여줌으로써 방법의 정확성을 검증한다.

실험 결과

연구 질문

• RQ1 위험 민감한 MDP에서 전이 기반 보상에서 상태 기반 보상으로 단순화할 경우 누적 할인 보상의 분포가 어떻게 왜곡되는가?
• RQ2 전이 기반 보상에서 상태 기반 보상으로 변환하는 변환을 설계하여 누적 보상의 분포를 변경하지 않을 수 있는가?
• RQ3 제안된 변환은 정규 및 확률적 전이 기반 보상 함수 모두에서 보상 분포를 유지하는가?
• RQ4 변환을 적용한 후 보상 분포는 어떻게 추정할 수 있는가? 특히 약간의 정규성 가정을 할 경우에 대해.
• RQ5 무한 시간할인 MDP에서 이 변환이 Value-at-Risk와 같은 위험 민감한 목표의 정확도에 어떤 영향을 미치는가?

주요 결과

• 전이 기반 보상에서 상태 기반 보상으로 단순화함으로써 보상 분포 추정에 상당한 오차가 발생하며, 특히 위험 민감한 목표에서 그렇다.
• 제안된 변환은 전이 기반 보상에서 상태 기반 보상으로의 변환 시 누적 할인 보상의 분포를 성공적으로 유지한다.
• 이 변환은 정규 및 확률적 전이 기반 보상 함수 모두에 효과적이며, 분포의 정밀도를 보장한다.
• 변환 후 약간의 정규성 가정 하에 보상 분포를 정확하게 추정할 수 있으며, 이는 신뢰할 수 있는 위험 민감한 분석을 가능하게 한다.
• 변환된 MDP에서 누적 보상의 진짜 분포를 유지함으로써 이 방법은 Value-at-Risk 및 유사한 위험 지표의 정확한 추정을 가능하게 한다.