[논문 리뷰] First-Order Methods for Wasserstein Distributionally Robust MDP

Julien Grand-Clément, Christian Kroer|arXiv (Cornell University)|2020. 09. 14.

Infrastructure Maintenance and Monitoring인용 수 2

한 줄 요약

이 논문은 워샤르슈타인 분포로 불확실성에 강건한 MDP를 해결하기 위한 1차 방법(FOM) 프레임워크를 제안한다. 보정 업데이트와 근사 벨만 반복을 조합하여 수렴 속도를 O(N^{2.5}A^{2.5}S^{2.5} × log(S) log(ϵ^{-1}) × ϵ^{-1.5})로 달성하며, 내부점 방법의 O(N^{3.5}A^{3.5}S^{4.5} log^2(ϵ^{-1}))에 비해 크게 향상되었다. 이 방법은 ℓ1, ℓ2, ℓ∞ 워샤르슈타인 모호성 집합에 대해 확장 가능한 거의 선형 시간의 보정 업데이트를 가능하게 하며, 수치 실험에서 최신 기법들을 능가한다.

ABSTRACT

Markov decision processes (MDPs) are known to be sensitive to parameter specification. Distributionally robust MDPs alleviate this issue by allowing for \emph{ambiguity sets} which give a set of possible distributions over parameter sets. The goal is to find an optimal policy with respect to the worst-case parameter distribution. We propose a framework for solving Distributionally robust MDPs via first-order methods, and instantiate it for several types of Wasserstein ambiguity sets. By developing efficient proximal updates, our algorithms achieve a convergence rate of $O\left(NA^{2.5}S^{3.5}\log(S)\log(\epsilon^{-1})\epsilon^{-1.5} ight)$ for the number of kernels $N$ in the support of the nominal distribution, states $S$, and actions $A$; this rate varies slightly based on the Wasserstein setup. Our dependence on $N,A$ and $S$ is significantly better than existing methods, which have a complexity of $O\left(N^{3.5}A^{3.5}S^{4.5}\log^{2}(\epsilon^{-1}) ight)$. Numerical experiments show that our algorithm is significantly more scalable than state-of-the-art approaches across several domains.

연구 동기 및 목표

• 워샤르슈타인 모호성 집합을 가진 분포로 불확실성에 강건한 MDP를 해결할 때 내부점 방법(IPM)의 확장성 한계를 해결한다.
• 상태 수 S, 행동 수 A, 커널 수 N에 대한 의존도를 향상시켜 계산 복잡도를 감소시키는 1차 방법(FOM) 프레임워크를 개발한다.
• ℓ1, ℓ2, ℓ∞ 워샤르슈타인 거리 측정법에 대해 효율적인 보정 업데이트 방법을 설계하여 거의 선형 시간 계산을 가능하게 한다.
• 특히 희소 또는 노이즈가 많은 데이터를 가진 대규모 MDP에서 가치 반복(VI)보다 더 빠른 수렴을 달성한다.
• 모델 잘못 설정 상황에서 순차적 결정 문제의 분포 불확실성에 대해 강건성을 확보한다. 의료 및 차량 경로 설정 등 응용 분야에서 유의미하다.

제안 방법

• 최대-최소 강건 MDP 문제를 해결하기 위해 1차 방법(FOM) 업데이트와 근사 벨만 업데이트를 번갈아 적용한다.
• 벨만 연산자로부터 유도된 선형화된 가치 벡터 추정치에 기반한 기울기 기반 FOM 업데이트를 사용한다.
• ℓ1, ℓ2, ℓ∞ 워샤르슈타인 모호성 집합에 대해 새로운 보정 알고리즘을 개발하여 보정 반복의 거의 선형 시간 계산을 가능하게 한다.
• 강건 벨만 방정식을 콘형 프로그래밍 구조를 활용한 유한 차원 볼록 프로그램으로 재구성한다.
• 값 함수 업데이트에서 수렴 속도를 높이기 위해 온난 스타트 및 효율적인 솔버(Gurobi 등)를 적용한다.
• ε-최적성에 도달했을 때 반복를 종료하기 위해 이중성 갭 모니터링을 사용한다.

실험 결과

연구 질문

• RQ1 내부점 방법에 비해 워샤르슈타인 DR-MDP에서 1차 방법이 N, A, S에 대한 의존도 측면에서 더 우수한 확장성을 확보할 수 있는가?
• RQ2 ℓ1, ℓ2, ℓ∞ 등의 다양한 워샤르슈타인 거리 측정법에 대해 효율적인 보정 업데이트를 설계하여 거의 선형 시간 계산을 가능하게 할 수 있는가?
• RQ3 근사 벨만 업데이트와 반복적 정책 평균화를 사용함에도 불구하고 제안된 FOM 프레임워크가 수렴 보장을 유지하는가?
• RQ4 상태 수 S와 커널 수 N이 증가함에 따라 최신 기법들과 비교해 어떻게 확장되는가?
• RQ5 구조적 및 무작위 MDP 인스턴스에서 실제 문제에서 가치 반복과 IPM 기반 솔버보다 성능을 뛰어나게 할 수 있는가?

주요 결과

• 제안된 FOM 프레임워크는 O(N^{2.5}A^{2.5}S^{2.5} log(S) log(ϵ^{-1}) × ϵ^{-1.5})의 수렴 속도를 달성하며, 내부점 방법의 O(N^{3.5}A^{3.5}S^{4.5} log^2(ϵ^{-1}))에 비해 크게 향상되었다.
• 알고리즘은 커널 수 N에 대해 선형으로 확장되며, S=A=30일 때 N=5일 경우 1.6초에서 N=70일 경우 120.2초로 실측 런타임이 증가한다.
• 대규모 인스턴스(예: S=30, A=30, N=70)에서 FOM 기반 알고리즘이 IPM 기반 솔버보다 런타임에서 뛰어난 성능을 보이며, 더 뛰어난 확장성을 입증한다.
• T회의 1차 방법 업데이트 이후 이중성 갭은 O(1/T^{2/3})의 속도로 감소하여, ε-최적 정책 수렴을 나타낸다.
• 구조적(Machine Replacement, Forest Management) 및 무작위(Garnet) MDP에 대한 수치 실험을 통해 기존 최신 기법들에 비해 상당히 더 뛰어난 확장성을 입증한다.
• 비록 FOM의 수렴 속도(O(1/T^{2/3}))가 가치 반복(O(log(1/ϵ)))보다 느리지만, 반복당 비용이 낮아 대규모 문제에서 더 나은 전반적 성능을 달성한다.