[논문 리뷰] Robust Markov Decision Processes: Beyond Rectangularity

Grand Clement, Julien|arXiv (Cornell University)|2019. 01. 01.

Reinforcement Learning in Robotics참고 문헌 30인용 수 26

한 줄 요약

이 논문은 전이 확률의 불확실성을 인자 행렬을 통해 모델링하는 강건한 마르코프 결정 과정(MDP) 프레임워크를 제안한다. 이는 상태 간의 종속성을 반영하고 기존 직사각형 불확실성 집합보다 더 적은 보수성(conservatism)을 제공한다. 직사각형 가정 하에서 최적의 강건 정책을 효율적으로 계산할 수 있으며, 계산 실험에서 더 뛰어난 타당성과 성능을 입증한다.

ABSTRACT

Markov decision processes (MDPs) are a common approach to model dynamic optimization problems in many applications. However, in most real world problems, the model parameters that are estimated from noisy observations are uncertain, and the optimal policy for the nominal parameter values might be highly sensitive to even small perturbations in the parameters leading to significantly suboptimal outcomes. We consider a robust approach where the uncertainty in probability transitions is modeled as an adversarial selection from an uncertainty set. Most prior work considers the case where uncertainty on parameters related to different states is unrelated and the adversary is allowed to select worst possible realization for each state unrelated to others, potentially leading to highly conservative solutions. On the other hand, the case of general uncertainty sets is known to be intractable. We consider a factor model for probability transitions where the transition probability is a linear function of a factor matrix that is uncertain and belongs to a factor matrix uncertainty set. This a significantly less conservative approach to modeling uncertainty in probability transitions while allowing to model dependence between probability transitions across different states. We show that under a certain rectangularity assumption, we can efficiently compute the optimal robust policy under the factor matrix uncertainty model. We also present a computational study to demonstrate the usefulness of our approach.

연구 동기 및 목표

• 각 상태 간에 독립된 불확실성을 가정하는 전통적인 강건 MDP의 과도한 보수성을 해결하기 위해.
• 다양한 상태 간 전이 확률 간의 종속성을 인자 행렬 구조를 통해 모델링하기 위해.
• 이 새로운 불확실성 모델 하에서 강건 정책 최적화를 위한 효율적인 계산 방법을 개발하기 위해.
• 계산 실험을 통해 제안된 방법의 실용적 이점을 입증하기 위해.

제안 방법

• 전이 확률을 미지의 인자 행렬에 대한 선형 함수로 모델링하며, 인자 행렬은 사전 정의된 불확실성 집합에 속한다.
• 강건 MDP 문제를 타당한 최적화 문제로 재구성할 수 있도록 허용하는 직사각형 가정을 도입한다.
• 수정된 값 반복 또는 정책 반복 알고리즘을 풀어 동적 프rogramming 원리를 이용해 최적의 강건 정책을 계산한다.
• 인자 행렬의 불확실성 집합 내에서 최악의 전이를 고려하기 위해 강건 벨먼 방정식을 제시한다.
• 인자 행렬의 구조를 처리하고 계산 복잡도를 감소시키기 위해 분해 기법을 적용한다.
• 기본 MDP 문제에 대한 평가를 위해 계산 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 인자 행렬 모델은 독립된 상태별 불확실성 대비 강건 MDP의 보수성을 줄일 수 있는가?
• RQ2 상태 간 전이에 대한 종속성 모델링이 최적 정책의 강건성과 성능에 어떤 영향을 미치는가?
• RQ3 강건 MDP 문제에 인자 행렬 불확실성이 적용된 경우 어떤 조건에서 효율적으로 해결될 수 있는가?
• RQ4 강건 MDP에서 모델링의 유연성과 타당성 사이의 계산적 트레이드오프는 어떠한가?
• RQ5 제안된 방법은 표준 강건 MDP 접근법과 정책 품질과 계산 비용 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 인자 행렬 불확실성 모델은 상태 간 전이의 종속성을 반영함으로써 기존의 직사각형 불확실성 집합 대비 보수성을 크게 감소시킨다.
• 직사각형 가정 하에서 강건 MDP 문제는 여전히 계산적으로 타당하며, 수정된 동적 프로그래밍 알고리즘을 통해 해결 가능하다.
• 불확실성이 여러 상태에 걸쳐 퍼져 있어도 최적의 강건 정책을 효율적으로 계산할 수 있다.
• 계산 실험 결과, 파rameter 변화에 대한 저항성 측면에서 기준 강건 MDP보다 더 뛰어난 정책 성능을 달성한다.
• 독립된 상태별 모델 대비 더 풍부한 전이 불확실성 모델링이 가능하면서도 계산 효율성을 유지한다.