[논문 리뷰] On the Taylor Expansion of Value Functions

Anton Braverman, Itai Gurvich외 1명|arXiv (Cornell University)|2018. 04. 13.

Auction Theory and Applications참고 문헌 8인용 수 5

한 줄 요약

이 논문은 값 함수에 이차 테일러 전개를 적용하여 근사 동적 프로그래밍의 새로운 프레임워크를 제안한다. 이는 이산 시간 마르코프 결정 과정을 연속 공간 확산 근사로 변환하며, 이를 테일러 제어 문제(Taylored Control Problem, TCP)로 정의한다. 이 방법은 PDE 기반의 경계를 통해 성능 보장을 가능하게 하며, 부드러움 조건과 큰 초기 상태 조건 하에서 최적성 갭이 최적 값의 $1-\alpha$ 분율 이하임을 보여준다.

ABSTRACT

We introduce a framework for approximate dynamic programming that we apply to discrete time chains on $\mathbb{Z}_+^d$ with countable action sets. Our approach is grounded in the approximation of the (controlled) chain's generator by that of another Markov process. In simple terms, our approach stipulates applying a second-order Taylor expansion to the value function to replace the Bellman equation with one in continuous space and time where the transition matrix is reduced to its first and second moments. In some cases, the resulting equation (which we label {\bf TCP}) can be interpreted as corresponding to a Brownian control problem. When tractable, the TCP serves as a useful modeling tool. More generally, the TCP is a starting point for approximation algorithms. We develop bounds on the optimality gap---the sub-optimality introduced by using the control produced by the "Taylored" equation. These bounds can be viewed as a conceptual underpinning, analytical rather than relying on weak convergence arguments, for the good performance of controls derived from Brownian control problems. We prove that, under suitable conditions and for suitably "large" initial states, (i) the optimality gap is smaller than a $1-α$ fraction of the optimal value, where $α\in (0,1)$ is the discount factor, and (ii) the gap can be further expressed as the infinite horizon discounted value with a "lower-order" per period reward. Computationally, our framework leads to an "aggregation" approach with performance guarantees. While the guarantees are grounded in PDE theory, the practical use of this approach requires no knowledge of that theory.

연구 동기 및 목표

• 고차원 이산 시간 마르코프 체인에 대한 실용적인 근사 프레임워크를 개발하여 동적 프로그래밍의 차원의 극복 문제를 해결한다.
• 브라운 운동 제어 문제와 실제 동적 프로그래밍 사이의 격차를 메우기 위해, 약한 수렴이 아닌 분석적 성능 경계에 기반해 그 사용을 정당화한다.
• 브라운 운동 근사의 강력한 경험적 성능에 대한 개념적 및 분석적 기반을 제공하며, PDE 이론을 활용한다.
• 테일러 제어 문제(TCP) 프레임워크에 기반한 상태 집계를 통해 계산 효율성이 높고 성능 보장이 가능한 알고리즘을 개발한다.
• 성능 분석을 넘어서 최적 제어에까지 확산 근사를 적용할 수 있도록 하며, 부적합성에 대한 엄밀한 오차 경계를 제공한다.

제안 방법

• 벨만 방정식의 값 함수에 이차 테일러 전개를 적용하여, 이산 전이를 전이 커널의 일차 및 이차 모멘트로부터 유도된 연속 공간의 이동 항 $\alpha\mu(x)$와 산산각 항 $\alpha\sigma^2(x)$로 대체한다.
• 이동 항 $\alpha\mu(x)$, 산산각 항 $\alpha\sigma^2(x)$, 지수 할인을 포함한 두 번째 차수 편미분 방정식(PDE)으로 규정되는 연속 공간 스토케스틱 제어 문제로 테일러 제어 문제(TCP)를 정식화한다.
• 고전적 PDE 이론을 활용해 원래 MDP와 TCP 해법 사이의 최적성 갭에 대한 경계를 유도하며, 근사된 값 함수의 세 번째 도함수에 의존한다.
• 최적성 갭이 국소적 세 번째 도함수 항의 할인된 무한합으로 유계임을 입증하며, 체인의 최대 점프 크기로 스케일링된다.
• 로컬 곡률(즉, $D^2\widehat{V}$를 통한)에 따라 그리드의 조밀함을 적응적으로 조정하는 상태 집계 전략을 제안하여 계산 효율성을 향상시키면서도 정확도를 유지한다.
• TCP를 근사 알고리즘의 기초로 활용하며, 점근적 극한이 아닌 PDE 존재성 및 정규성 이론에 기반한 이론적 보장을 제공한다.

실험 결과

연구 질문

• RQ1 벨만 방정식의 값 함수에 대한 이차 테일러 전개가 고차원 MDP에 대해 실용적이고 분석적으로 정당화된 근사법을 제공할 수 있는가?
• RQ2 진정한 MDP 정책 대비 TCP 해법을 사용할 때 발생하는 부분 최적성(최적성 갭)에 대한 이론적 경계는 무엇인가?
• RQ3 브라운 운동 제어 문제의 성능를 히우리스틱 또는 점근적 추론을 넘어서 엄밀하게 최적 제어 설정에서 정당화할 수 있는가?
• RQ4 TCP 프레임워크는 유한 수명 문제로 확장될 수 있는가? 이를 유지하기 위해 필요한 수정 사항은 무엇인가?
• RQ5 로컬 값 함수 곡률(즉, $D^2\widehat{V}$)을 기반으로 한 적응형 상태 집계를 통해 TCP 프레임워크의 계산 효율성을 어떻게 향상시킬 수 있는가?

주요 결과

• 적절한 부드러움 조건과 큰 초기 상태 조건 하에서, TCP 기반 제어의 최적성 갭은 최적 값의 $1-\alpha$ 분율 이하이며, $\alpha \in (0,1)$은 할인 요소이다.
• 최적성 갭은 근사된 값 함수의 세 번째 도함수에 명시적으로 연결된 하위순서의 시간당 보상의 무한 수명 할인 가치로 표현될 수 있다.
• 오차 경계는 $\mathbb{E}_{x}^{\widehat{U}_{*}}\left[\sum_{t=0}^{\infty}\bar{\alpha}_{h}^{t}h^{2+\beta}[D^{2}\widehat{V}_{*}]_{\beta,X_{t}^{h}\pm h}^{*}\right]$ 비례하며, 국소 곡률과 스텝 크기에 의존함을 보여준다.
• 이 프레임워크는 PDE 이론에 기반한 성능 보장을 제공하며, 일반적으로 확산 근사에서 사용되는 점근적 수렴 추론을 대체하는 비점근적이고 분석적인 대안을 제공한다.
• TCP 공식화는 브라운 운동 제어 문제와 대응되며, 이는 이산 시간 MDP에서의 확산 모델과 최적 제어 사이의 개념적 연결 고리를 제공한다.
• 로컬 두 번째 도함수 크기에 기반한 적응형 비균일 그리드 정밀화는 오차 경계를 유지하면서도 계산 효율성을 크게 향상시킬 수 있다.