[논문 리뷰] Partial Policy Iteration for L1-Robust Markov Decision Processes

Chin Pang Ho, Marek Petrik외 1명|arXiv (Cornell University)|2020. 06. 16.

Reinforcement Learning in Robotics참고 문헌 48인용 수 8

한 줄 요약

이 논문은 s- 및 sa-직사각형 불확실성 집합을 가진 L₁-로버스트 MDP를 해결하기 위해 부분 정책 반복(PPI) 및 빠른 호모토피/이분법 알고리즘을 제안한다. 근사 선형 시간 내에 로버스트 벨만 연산자를 계산하고 효율적인 정책 반복을 활용함으로써, LP 기반 접근 방식 대비 최대 4개 지수 정도의 속도 향상을 달성하며, 표준 MDP와 동일한 확장성과 수렴 보장을 확보한다.

ABSTRACT

Robust Markov decision processes (MDPs) allow to compute reliable solutions for dynamic decision problems whose evolution is modeled by rewards and partially-known transition probabilities. Unfortunately, accounting for uncertainty in the transition probabilities significantly increases the computational complexity of solving robust MDPs, which severely limits their scalability. This paper describes new efficient algorithms for solving the common class of robust MDPs with s- and sa-rectangular ambiguity sets defined by weighted $L_1$ norms. We propose partial policy iteration, a new, efficient, flexible, and general policy iteration scheme for robust MDPs. We also propose fast methods for computing the robust Bellman operator in quasi-linear time, nearly matching the linear complexity the non-robust Bellman operator. Our experimental results indicate that the proposed methods are many orders of magnitude faster than the state-of-the-art approach which uses linear programming solvers combined with a robust value iteration.

연구 동기 및 목표

• L₁-불확실성 전이 확률을 가진 로버스트 MDP를 해결하는 데 높은 계산 비용을 해결하기 위해.
• 로버스트 값 및 정책 반복 과정에서 각 반복마다 선형 프로그래밍(LP) 문제를 풀어야 하는 성능 저하 문제를 극복하기 위해.
• s- 및 sa-직사각형 불확실성 집합에 모두 적용 가능한 일반적이고 효율적이며 확장 가능한 프레임워크를 개발하기 위해.
• 표준 MDP 수준의 계산 복잡도에 가까운 성능를 달성하면서도 수렴성과 로버스트성을 유지하기 위해.
• 비용이 많이 드는 상용 LP 솔버에 의존하지 않도록, 로버스트 벨만 연산자를 위한 전문화된 빠른 알고리즘을 도입하기 위해.

제안 방법

• 로버스트 MDP에 특화된 수정된 정책 반복의 일반화인 부분 정책 반복(PPI)을 제안하며, 수렴 보장이 로버스트 값 반복 및 정책 반복과 동일한 방식을 유지한다.
• 불확실성 크기가 증가함에 따라 악성 전이를 추적하는 호모토피 연속 방법을 도입하여, sa-직사각형 L₁-불확실성 집합에 대해 로버스트 벨만 연산자를 근사 선형 시간 내에 계산한다.
• s-직사각형 L₁-불확실성 집합을 위한 이분법 기반 분해 기법을 개발하여, 호모토피 방법을 사용하는 sa-직사각형 계산으로 문제를 분해한다.
• PPI를 호모토피 및 이분법 방법과 융합하여, 일반적인 LP 솔버에 의존하지 않는 완전하고 확장 가능한 로버스트 MDP 해법 프레임워크를 구성한다.
• L₁-불확실성 집합의 다각형 구조를 활용하여 정렬 및 점진적 업데이트를 통해 악성 전이 확률을 효율적으로 계산한다.
• 정책 반복의 구조를 유지하면서도 로버스트 최적화 환경에 적응함으로써 이론적으로 선형 수렴 속도를 보장한다.

실험 결과

연구 질문

• RQ1 로버스트 MDP에 대해 L₁-불확실성 집합을 적용할 때 정책 반복을 일반화할 수 있을까? 이 과정에서 수렴성과 효율성은 유지되는가?
• RQ2 sa-직사각형 L₁-불확실성 집합에 대해 로버스트 벨만 연산자를 근사 선형 시간 내에 계산할 수 있을까? 이는 일반적인 LP 솔버의 4차 복잡도를 피하는가?
• RQ3 비볼록 구조와 랜덤화 정책이 필요함에도 불구하고 s-직사각형 로버스트 MDP는 효율적으로 해결될 수 있는가?
• RQ4 PPI와 빠른 벨만 연산자 계산을 조합하면 최신의 LP 기반 로버스트 값 반복 대비 상당한 속도 향상을 달성할 수 있는가?
• RQ5 제안된 프레임워크는 LP 솔버가 비현실적이게 되는 대규모 문제에 대해 효과적으로 확장 가능한가?

주요 결과

• 제안된 PPI 방법은 로버스트 값 반복 대비 최대 100배 빠른 속도를 기록하며, 특히 정책 개선 단계가 비용이 많이 드는 문제에서 성능 향상이 두드러진다.
• 호모토피 방법은 sa-직사각형 L₁-불확실성 집합에 대해 로버스트 벨만 연산자를 근사 선형 시간 내에 계산하여, 비로버스트 벨만 연산자와 유사한 근선형 복잡도를 달성한다.
• 이분법 방법과 호모토피 알고리즘을 조합함으로써 s-직사각형 로버스트 벨만 연산자를 근사 선형 시간 내에 계산할 수 있었으며, 랜덤화 정책의 과제를 해결했다.
• 전체 프레임워크는 최신의 LP 기반 접근 방식(로버스트 값 반복 + 상용 LP 솔버) 대비 최대 4개 지수 정도의 속도 향상을 달성했다.
• 문제 크기에 따라 확장성이 유리하며, LP 솔버가 비현실적이게 되는 더 큰 인스턴스에서는 이점이 더욱 크게 증가할 것으로 예상된다.
• PPI는 종종 비효율적인 값 반복 서브루틴으로 인해 지배받는 로버스트 수정 정책 반복(RMPI)보다 경험적으로 더 효율적이다.