[논문 리뷰] Capacities, Measurable Selection and Dynamic Programming Part I: Abstract Framework

El Karoui Nicole, Xiaolu Tan|arXiv (Cornell University)|2013. 10. 12.

Economic theories and models참고 문헌 20인용 수 49

한 줄 요약

이 논문은 용량 이론과 가측 선택 정리들을 사용하여 연속시간 동적계획법 원리(DPP)를 위한 추상적 프레임워크를 개발한다. 투사 용량을 통한 일반적인 가측 선택 결과를 수립하고, 이는 캐드라그 경로의 기본 공간에서의 확률적 제어/정지 문제에 대해 DPP를 증명하는 데 응용되며, 가치 함수의 상부 해석적 성질과 시간 일致성 보장한다.

ABSTRACT

We give a brief presentation of the capacity theory and show how it derives naturally a measurable selection theorem following the approach of Dellacherie (1972). Then we present the classical method to prove the dynamic programming of discrete time stochastic control problem, using measurable selection arguments. At last, we propose a continuous time extension, that is an abstract framework for the continuous time dynamic programming principle (DPP).

연구 동기 및 목표

• 용량 이론을 사용하여 투사 용량을 통한 일반적인 가측 선택 정리를 유도함으로써 고전 결과를 확장한다.
• 확률적 제어 및 정지 문제에 대한 연속시간 동적계획법 원리(DPP)의 확장체를 수립한다.
• 캐드라그 경로의 기본 공간에서 시간 일치성 비선형 연산자에 대한 통합된 프레임워크를 제공한다.
• 일반적인 확률적 제어 설정에서 가치 함수의 가측성과 정규성 보장한다.
• 다음 논문에서 일반적인 확률적 제어/정지 문제를 연구하기 위한 기초를 마련한다.

제안 방법

• Choquet의 용량 이론과 곱 공간에서의 투사 용량을 사용하여 가측 선택을 구성한다.
• 콤��� 설정에서의 데뷰 방법을 적용하여 선택을 정의한 후 근사에 의해 확장한다.
• 이sovomorphism 추론을 사용하여 선택 정리를 Borel 및 해석 집합으로 일반화한다.
• 기본 공간의 캐드라그 경로에 따라 정지 시간으로 인덱싱된 비선형 연산자 집합을 정의한다.
• 정규 조건부 확률 분포(r.c.p.d.)를 사용하여 측도를 분해하고 시간 일치성을 검증한다.
• Jankov-von Neumann 해석 선택 정리를 적용하여 DPP 증명에서의 가측 선택을 보장한다.

실험 결과

연구 질문

• RQ1 용량 이론을 사용하여 체계적으로 가측 선택 정리를 어떻게 도출할 수 있는가?
• RQ2 연속시간 확률적 제어에서 동적계획법 원리가 보장되기 위한 추상적 조건은 무엇인가?
• RQ3 선택과 과거 정보를 기반으로 비선형 연산자의 시간 일치성은 어떻게 특성화할 수 있는가?
• RQ4 일반적인 제어/정지 문제 하에서 가치 함수는 어떤 정규성 성질을 상속하는가?
• RQ5 가측 선택을 사용하여 이산시간 DPP를 연속시간으로 어떻게 일반화할 수 있는가?

주요 결과

• 값 함수 $ V(t, \mathbf{x}) $ 는 상부 해석적이고 보편적으로 가측적이며, 다양한 확률 측도 하에서도 안정성을 보장한다.
• 모든 $ \widehat{\mathbb{F}} $-정지 시간 $ \hat{\tau} $ 에 대해 $ V(t,\mathbf{x}) = \mathbb{E}^{\widehat{\mathbb{P}}} \left[ \mathbf{1}_{\Theta_{\infty} \leq \hat{\tau}} \Phi + \mathbf{1}_{\Theta_{\infty} > \hat{\tau}} V(\hat{\tau}, [X]_{\hat{\tau}}) \right] $ 형태로 동적계획법 원리가 성립한다.
• 확률 측도 집합 $ \widehat{\mathcal{P}}^{0}_{t,\mathbf{x}} $ 는 시간 조건부 이전 붙임에 대해 닫혀 있어 시간 일치성을 보장한다.
• 용량 기반 근사와 이sovomorphism을 통해 가측 선택 정리가 도출되었으며, 고전 결과를 일반화한다.
• 기본 경로 공간을 사용하여 이산시간 DPP와 도박집 모델을 연속시간으로 확장한다.
• 값 함수는 시간 $ t $ 이전의 과거 정보에만 의존한다, 즉 $ V(t,\mathbf{x}) = V(t, [\mathbf{x}]_t) $ 로서 경로 내재적 의존성을 확인한다.