[논문 리뷰] Scaling Up Robust MDPs by Reinforcement Learning

Aviv Tamar, Huan Xu외 1명|arXiv (Cornell University)|2013. 06. 26.

Reinforcement Learning in Robotics참고 문헌 18인용 수 28

한 줄 요약

이 논문은 매개변수 불확실성 하에서 대규모 강건 마르코프 결정 과정(RMDPs)을 해결하기 위해 강화학습 기반의 근사 동적 프rogramming 방법을 제안한다. 선형 함수 근사와 투영 고정점 방정식을 사용함으로써, 이론적 수렴 보장과 함께 확장 가능한 강건한 계획 수립이 가능해지며, 옵션 가격 설정 문제에 대한 실증적 검증을 통해 불확실성 하에서의 최악의 성능 향상이 입증된다.

ABSTRACT

We consider large-scale Markov decision processes (MDPs) with parameter uncertainty, under the robust MDP paradigm. Previous studies showed that robust MDPs, based on a minimax approach to handle uncertainty, can be solved using dynamic programming for small to medium sized problems. However, due to the "curse of dimensionality", MDPs that model real-life problems are typically prohibitively large for such approaches. In this work we employ a reinforcement learning approach to tackle this planning problem: we develop a robust approximate dynamic programming method based on a projected fixed point equation to approximately solve large scale robust MDPs. We show that the proposed method provably succeeds under certain technical conditions, and demonstrate its effectiveness through simulation of an option pricing problem. To the best of our knowledge, this is the first attempt to scale up the robust MDPs paradigm.

연구 동기 및 목표

• 기존의 동적 프로그래밍 기법이 차원의 귀걸이 문제로 인해 비가역적인 대규모 강건 MDP의 확장성 문제를 해결한다.
• 정확한 방법이 실패하는 대규모 강건 MDP를 근사적으로 해결하기 위한 강화학습 프레임워크를 개발한다.
• 선형 함수 근사 하에서 강건 정책 평가 및 정책 개선에 대한 이론적 수렴 보장을 제공한다.
• 전이 확률의 불확실성이 존재하는 실제 옵션 가격 설정 문제에서 방법의 효과성을 입증한다.
• 모델 불확실성 하에서 대규모 순차적 결정 문제에서 리스크 회피 의사결정을 가능하게 한다.

제안 방법

• 전이 확률에 대한 불확실성 집합을 사용하여 강건 MDP를 수립함으로써, 최악의 성능 최적화를 보장한다.
• 선형 함수 근사를 사용하여 강건 가치 함수를 근사하기 위해 투영 고정점 방정식을 도입한다.
• 샘플링 기반 업데이트를 통해 반복적으로 정책을 향상시키는 근사 강건 정책 반복(ARPI) 알고리즘을 개발한다.
• 상태와 시간 간의 비분리적 의존성을 포괄할 수 있도록, 라디얼 기저 함수(RBF) 특징을 가치 함수 표현에 사용한다.
• 옵션 실행에 대한 행동 가치의 불연속성 문제를 다루기 위해 상태에 따라 조절되는 임계값을 적용한 ARPI 업데이트 규칙을 사용한다.
• 선형 근사 하에서 강건 벨먼 연산자의 압축 성질을 활용하여 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 정확한 동적 프로그래밍에 비해 비가역적인 대규모 강건 MDP를 해결하기 위해 강화학습이 효과적으로 적용될 수 있는가?
• RQ2 투영 고정점 접근과 결합된 선형 함수 근사가 수렴 보장이 있는 강건 정책 평가 및 개선을 가능하게 하는가?
• RQ3 모델 불확실성 하에서 강건 정책의 성능는 노멀(비강건) 정책보다 어떻게 다를까?
• RQ4 최적 정지 문제에서 강건 가치 함수를 근사하기 위해 가장 효과적인 특징 표현은 무엇인가?
• RQ5 제안된 방법은 금융 옵션 가격 설정 사례에서처럼 불확실성 하에서 순차적 결정 문제에서 리스크 회피 행동을 달성할 수 있는가?

주요 결과

• 제안된 ARPI 알고리즘은 미약한 기술적 조건 하에서 선형 함수 근사 하에서 강건 정책 평가 및 개선에 대해 수렴 보장을 갖는다.
• 강건 정책는 총 보상의 낮은 백분위수에서 비해 비강건 정책보다 뛰어난 성능를 보이며, 불확실성 하에서 리스크 회피 행동을 입증한다.
• RBF 특징 사용이 라귀어르 특징 및 단조 다항식 특징 대비 성능 향상을 크게 개선하였으며, 이는 비분리적 가치 함수 구조를 더 잘 모델링하기 때문으로 보인다.
• 강건성에서 얻는 성능 향상은 신뢰구간 폭(α)과 데이터 크기(N_data)로 제어되는 불확실성 수준에 비례하였다.
• 200회의 독립 실험에서, 대응 t-검정을 통한 확인 결과, 강건 정책는 최악의 시나리오에서 통계적으로 유의미한 성능 우위(유의수준 p < 0.05)를 보였다.
• 이 방법은 강건 MDP 철학을 대규모 문제에까지 확장하는 데 성공하였으며, 문헌상 최초의 사례로 기록된다.