[논문 리뷰] Optimal control of branching diffusion processes: a finite horizon problem

Julien Claisse|arXiv (Cornell University)|2015. 11. 20.

Stochastic processes and statistical mechanics참고 문헌 25인용 수 9

한 줄 요약

이 논문은 유한 시간 기준으로 입자 이동과 복제가 위치와 제어에 따라 제어되는 분기 확산 과정에 대한 최적 스토케스틱 제어를 위한 동적 프로그래밍 접근법을 개발한다. 가치 함수가 비선형 헬름홀츠-자비-보르만(HJB) 방정식의 유일한 점성 해로 나타남을 입증하며, 입자 간의 의존성과 제어에 의존하는 복제를 다룰 수 있도록 니시오의 프레임워크를 확장한다. 이는 새로운 확률적 구성과 엄밀한 동적 프로그래밍 원리를 통해 이루어진다.

ABSTRACT

In this paper, we aim to develop the theory of optimal stochastic control for branching diffusion processes where both the movement and the reproduction of the particles depend on the control. More precisely, we study the problem of minimizing a criterion that is expressed as the expected value of the product of individual costs penalizing the final position of each particle. In this setting, we show that the value function is the unique viscosity solution of a nonlinear parabolic PDE, that is, the Hamilton-Jacobi-Bellman equation corresponding to the problem. To this end, we extend the dynamic programming approach initiated by Nisio to deal with the lack of independence between the particles as well as between the reproduction and the movement of each particle. In particular, we exploit the particular form of the optimization criterion to recover a weak form of the branching property. In addition, we provide a precise formulation and a detailed justification of the adequate dynamic programming principle.

연구 동기 및 목표

• 입자 이동과 복제가 모두 제어되는 분기 확산 과정으로의 최적 스토케스틱 제어 이론을 확장한다.
• 제어되는 분기 과정에서 입자 간 상관성과 이동과 복제 간의 상관성 부족 문제를 다룬다.
• 위치 및 제어에 의존하는 수명과 후손 분포를 允허함으로써 니시오의 작업을 일반화한다.
• 입자 동역학이 의존적이고 비-마르코프, 비-독립동일분포(i.i.d.)인 설정에서 엄밀한 동적 프로그래밍 원리(DPP)를 수립한다.
• 해당 비-마르코프, 측도 기반 설정에서 가치 함수가 대응하는 비선형 HJB 방정식의 유일한 점성 해임을 증명한다.

제안 방법

• 제어에 의존하는 이동과 복제를 모델링하기 위해 마링갈 문제 접근법을 사용하여 제어되는 분기 확산 과정을 구성한다.
• 입자 간 의존성과 제어 조치 간 의존성을 다루기 위해 확장된 확률 공간을 도입한다.
• 완전 비선형 PDE의 매끄러운 해가 존재하는 크릴로프의 존재 결과를 기반으로 한 근사 절차를 적용한다.
• 정규화된 문제에 대응하는 매끄러운 함수로 가치 함수를 근사하기 위한 변형 기법을 사용한다.
• 독립성이 결여된 상황에서도 핵심적인 구조를 복원하기 위해 분기 성질의 약한 형태를 도출한다.
• 근사 수열의 균일 수렴성과 코herence 추정을 통해 동적 프로그래밍 원리를 수립한다.

실험 결과

연구 질문

• RQ1 제어되는 분기 확산 과정에서 입자 동역학이 의존적일 경우, 동적 프로그래밍 원리(DPP)를 어떻게 엄밀히 정당화할 수 있는가?
• RQ2 입자들에 대한 곱형 비용을 갖는 유한 시간 기준 최적 제어 문제에 대해, 해밀턴-자비-보르만(HJB) 방정식의 올바른 공식화는 무엇인가?
• RQ3 제어 프레임워크에서 입자 간 상관성과 이동 및 복제 간 상관성 부족 문제는 어떻게 다룰 수 있는가?
• RQ4 비-마르코프, 측도 기반 설정에서 가치 함수가 비선형 PDE의 유일한 점성 해로 특징지어질 수 있는가?
• RQ5 제어에 의존하는 복제와 공간적 의존성을 수용하기 위해 고전적 동적 프로그래밍 접근법에 어떤 수정이 필요한가?

주요 결과

• 해당 최적 제어 문제와 관련된 비선형 포물형 HJB 방정식의 가치 함수는 유일한 점성 해이다.
• 확장된 확률 공간에서 제어에 대한 하한과 정지 시간에 대한 상한을 포함하는 양방향 부등식 형태로 동적 프로그래밍 원리가 성립한다.
• 근사 수열의 가치 함수가 정지 시간에 대해 균일 수렴하므로, 엄밀한 극한 통과가 가능하다.
• 이 논문은 위치 및 제어에 따라 복제와 수명이 결정되는 제어되는 분기 확산 과정의 새로운 구성법을 제공한다.
• 입자 간 및 제어 조치 간의 독립성 부족에도 불구하고, 약한 형태의 분기 성질을 복원한다.
• HJB 방정식은 새로운 근사 및 한계 절차를 통해 유도되고 정당화되며, 고전 결과를 비-i.i.d. 분기 시스템으로 일반화한다.