[논문 리뷰] Stochastic Approximation for Risk-aware Markov Decision Processes

Wenjie Huang, William B. Haskell|arXiv (Cornell University)|2018. 05. 11.

Risk and Portfolio Optimization참고 문헌 77인용 수 6

한 줄 요약

이 논문은 Q-학습과 안장점 하위문제를 사용하여 무한 수명 위험 인식 MDP를 해결하기 위해 이중 루프 확률적 근사 알고리즘을 제안한다. 거의 확실 수렴성을 확립하고, 확률 1-δ 이상에서 수렴 속도를 $\Omega((\ln(1/\delta\epsilon)/\epsilon^{2})^{1/k}+(\ln(1/\epsilon))^{1/(1-k)})$로 제공하며, CVaR 및 최적화된 확실성 등가와 같은 널리 사용되는 위험 측정법을 포함한다.

ABSTRACT

We develop a stochastic approximation-type algorithm to solve finite state/action, infinite-horizon, risk-aware Markov decision processes. Our algorithm has two loops. The inner loop computes the risk by solving a stochastic saddle-point problem. The outer loop performs $Q$-learning to compute an optimal risk-aware policy. Several widely investigated risk measures (e.g. conditional value-at-risk, optimized certainty equivalent, and absolute semi-deviation) are covered by our algorithm. Almost sure convergence and the convergence rate of the algorithm are established. For an error tolerance $ε>0$ for the optimal $Q$-value estimation gap and learning rate $k\in(1/2,\,1]$, the overall convergence rate of our algorithm is $Ω((\ln(1/δε)/ε^{2})^{1/k}+(\ln(1/ε))^{1/(1-k)})$ with probability at least $1-δ$.

연구 동기 및 목표

• 진정한 전이 동역학과 보상 함수가 알려지지 않은 상황에서 위험 인식 MDP를 위한 모델 기반 강화 학습 알고리즘을 개발하기 위해.
• 확률적 근사와 Q-학습을 통합하여 관측된 궤적만을 사용해 위험 인식 정책을 계산하기 위해.
• 조건부 가치의 위험 측정(CVaR), 최적화된 확실성 등가(OCE), 절대 반편차를 포함한 광범위한 위험 측정법을 지원하기 위해.
• 제안된 알고리즘에 대해 거의 확실 수렴성과 유한 샘플 수렴 속도를 확립하기 위해.
• 위험 평가와 정책 최적화를 하나의 확장 가능한 학습 과정에서 통합하는 유일한 프레임워크를 제공하기 위해.

제안 방법

• 알고리즘은 이중 루프 구조를 사용한다: 내부 루프는 위험 측정을 추정하기 위해 확률적 안장점 문제를 해결하고, 외부 루프는 위험 인식 정책을 최적화하기 위해 Q-학습을 수행한다.
• 위험 평가는 일관된 위험 측정법의 이중 표현을 통해 수행되며, 이를 통해 추정에 대해 확률적 근사를 적용할 수 있다.
• 알고리즘은 학습률 $k \in (1/2, 1]$을 사용하고, 샘플된 궤적 기반의 재귀적 업데이트를 통해 Q-값 함수를 추정한다.
• 제어된 노이즈와 마링갈 차분 수열을 사용한 확률적 근사 프레임워크를 적용하여 수렴을 보장한다.
• 수렴 분석은 대수적 부등식과 리아푸노프 스타일의 추론을 사용하여 위험 추정 오차와 Q-값 업데이트 오차를 극복하는 데 기반한다.
• 이 방법은 CVaR 및 OCE를 포함한 모든 법 불변성과 일관성을 갖는 위험 측정법을 그 볼록 쌍대 표현을 통해 일반적으로 처리할 수 있다.

실험 결과

연구 질문

• RQ1 모델 기반 설정이 아닌 환경에서 무한 수명 위험 인식 MDP를 해결하기 위해 확률적 근사 기반 알고리즘을 설계할 수 있는가?
• RQ2 CVaR 및 OCE와 같은 위험 측정법을 Q-학습 프레임워크에 효율적으로 추정하고 통합할 수 있는가?
• RQ3 일반 조건 하에서 이러한 위험 인식 Q-학습 알고리즘의 수렴 속도는 무엇인가?
• RQ4 광범위한 위험 측정법에 대해 거의 확실 수렴성을 달성하면서도, 유한 샘플 수렴 속도를 유지할 수 있는가?
• RQ5 학습률 $k$는 수렴 속도와 오차 수용 간의 트레이드오프에 어떻게 영향을 미치는가?

주요 결과

• 약한 정규성 조건 하에서, 알고리즘은 최적의 위험 인식 Q-값 함수로 거의 확실하게 수렴한다.
• 오차 허용 범위 $\epsilon > 0$ 및 학습률 $k \in (1/2, 1]$에 대해, 확률 1-δ 이상에서 수렴 속도는 $\Omega\left((\ln(1/\delta\epsilon)/\epsilon^{2})^{1/k} + (\ln(1/\epsilon))^{1/(1-k)}\right)$이다.
• 이 방법은 조건부 가치의 위험 측정(CVaR), 최적화된 확실성 등가(OCE), 절대 반편차를 포함한 광범위한 위험 측정법을 그 볼록 쌍대 표현을 통해 지원한다.
• 수렴 속도는 위험 추정 오차와 Q-값 업데이트 오차에 대한 경계를 조합한 새로운 재귀적 확률적 업데이트 분석을 통해 유도된다.
• 선형 학습률 케이스($k=1$)에서는 샘플 복잡도가 $N = \Omega\left(\frac{C_G + (\gamma f(t))^2}{\tilde{\varepsilon}}\right)$로, $\mathbb{E}[\|Q_N - Q^*\|_2^2] \leq \tilde{\varepsilon}$를 달성하기 위해 필요하다.
• 분석은 위험 추정과 정책 업데이트 단계가 확률적 피드백을 통해 결합되어 있어도 알고리즘이 안정성과 수렴성을 유지함을 입증한다.