[논문 리뷰] From Infinite to Finite Programs: Explicit Error Bounds with Applications to Approximate Dynamic Programming

Peyman Mohajerin Esfahani, Tobias Sutter외 2명|arXiv (Cornell University)|2017. 01. 23.

Risk and Portfolio Optimization참고 문헌 35인용 수 4

한 줄 요약

이 논문은 무한차원 선형계획법(LPs)에 대한 새로운 근사 프레임워크를 제안하며, 이는 마르코프 결정 과정(MDPs)에서 발생하는 문제를 다루기 위한 것이다. 정규화된 유한한 볼록 프로그램을 사용하여 사전 및 사후 오차 한계를 명시적으로 제공한다. 랜덤화된 최적화와 일阶 방법을 조합함으로써 할인 및 평균 비용 최적 제어 문제에 대해 엄밀한 성능 보장을 확립하며, 가산 가능하지 않은 상태 및 행동 공간에서도 실현 가능하고 검증 가능한 해를 도출할 수 있다.

ABSTRACT

We consider linear programming (LP) problems in infinite dimensional spaces that are in general computationally intractable. Under suitable assumptions, we develop an approximation bridge from the infinite-dimensional LP to tractable finite convex programs in which the performance of the approximation is quantified explicitly. To this end, we adopt the recent developments in two areas of randomized optimization and first order methods, leading to a priori as well as a posterior performance guarantees. We illustrate the generality and implications of our theoretical results in the special case of the long-run average cost and discounted cost optimal control problems for Markov decision processes on Borel spaces. The applicability of the theoretical results is demonstrated through a constrained linear quadratic optimal control problem and a fisheries management problem.

연구 동기 및 목표

• 최적 제어 및 동적 프로그래밍에서 발생하는 무한차원 LP의 계산 불가능성 문제를 해결하기 위해.
• 가산 가능하지 않은 상태 및 행동 공간을 가진 MDP에 대해 명시적 오차 한계를 갖는 구축 가능한 근사 기법을 개발하기 위해.
• 공통의 정규화된 유한 프로그램 프레임워크를 사용하여 할인 비용 및 평균 비용 문제에 대한 기존 접근법을 통합하고 확장하기 위해.
• 랜덤화 및 볼록 최적화 기법을 활용하여 사전 및 사후 오차 보장을 제공하기 위해.
• 제약 조건이 있는 LQR 및 어업 관리 문제를 통해 적용 가능성을 입증하고, 엄밀한 성능 정량화를 수행하기 위해.

제안 방법

• 측도 위에서의 무한수명 MDP 문제를 이중성과 모멘트 문제를 활용하여 무한차원 LP로 재구성한다.
• 결정 변수를 유한차원 부분공간으로 제한하고 랜덤화된 방법으로 약속 조건을 샘플링함으로써 정규화된 반무한 프로그램을 도입한다.
• 이중 변수의 노름 제약(정규화자)을 도입하여 최적화기의 노름을 유한하게 유지하고 명시적 오차 한계를 도출한다.
• 수렴 보장을 갖는 일阶 방법을 사용하여 유한 볼록 프로그램을 해결한다.
• inf-sup 조건과 선형 연산자 노름을 사용하여 사전 오차 한계를 유도하고, 이중성 갭 추정을 통해 사후 오차 한계를 도출한다.
• 강한 이중성과 약속 샘플링을 활용하여 강인성과 유한 샘플 성능 보장을 확보한다.

실험 결과

연구 질문

• RQ1 MDP에서의 무한차원 LP 근사에 대해 명시적 사전 및 사후 오차 한계를 도출할 수 있는가?
• RQ2 가산 가능하지 않은 MDP에서 최적화기의 유한성과 엄밀한 오차 제어를 보장하기 위해 정규화된 유한 프로그램을 어떻게 구성할 수 있는가?
• RQ3 노름 제약(정규화자)이 이중 해의 안정성과 오차 정량화에 미치는 역할은 무엇인가?
• RQ4 실용성과 계산 가능성을 고려할 때, 기존의 점근적 보장과 비교해 제안된 오차 한계는 어떻게 다를 수 있는가?
• RQ5 이 프레임워크는 할인 비용 및 평균 비용 MDP에 대해 통합된 이론적 접근을 제공할 수 있는가?

주요 결과

• 제안된 정규화된 유한 프로그램은 샘플된 약속 수와 문제의 연산자 노름에 비례하여 명시적 사전 오차 한계를 달성한다.
• 할인 비용 문제의 경우, 이중 최적화기의 노름은 $ \|y^\star\|_{\mathrm{W}} \leq \frac{\theta_{\mathcal{P}} + (1-\tau)^{-1}\|\psi\|_{\infty}}{(1-\tau)\theta_{\mathcal{P}} - \|\psi\mathrm{L}} $ 로 유한하게 유지되어 안정성을 보장한다.
• 사후 오차 한계는 이중성 갭에서 유도되었으며, 수치 결과는 진짜 최적값 근처의 엄밀한 범위 내에서 수렴하는 것으로 나타났다.
• 이 프레임워크는 통합된 이론적 구조를 바탕으로 장기 평균 비용 및 할인 비용 문제를 모두 성공적으로 처리한다.
• LQR 및 어업 관리 사례에서 알고리즘은 검증 가능한 오차 한계를 갖는 근사 최적 성능를 달성하여 실용적 적용 가능성을 입증하였다.
• 이 방법은 점근적 기법의 대체로 유한 샘플 성능 보장을 제공하며, 이는 이전에는 존재하지 않았던 것이다.