[논문 리뷰] Stochastic optimal control of delay equations arising in advertising models

Fausto Gozzi, Carlo Marinelli|ArXiv.org|2004. 12. 20.

Stochastic processes and financial applications참고 문헌 32인용 수 34

한 줄 요약

이 논문은 상태와 제어 모두에 지연이 있는 광고 동역학을 모델링하는 지연 미분 방정식에 대한 확률적 최적 제어 문제를 제기하며, 힐버트 공간 리프팅을 통해 무한차원 마코프 제어 문제로 재구성한다. 검증 정리가 수립되고, 해가 존재하는 예시를 통해 유도된 해밀턴-자코비-벨리만(Hamilton-Jacobi-Bellman) 방정식의 매끄러운 해가 존재함을 보이며, 불확실성 하에서 최적 광고에 대한 명시적 피드백 제어를 가능하게 한다.

ABSTRACT

We consider a class of optimal control problems of stochastic delay differential equations (SDDE) that arise in connection with optimal advertising under uncertainty for the introduction of a new product to the market, generalizing classical work of Nerlove and Arrow (1962). In particular, we deal with controlled SDDE where the delay enters both the state and the control. Following ideas of Vinter and Kwong (1981) (which however hold only in the deterministic case), we reformulate the problem as an infinite dimensional stochastic control problem to which we associate, through the dynamic programming principle, a second order Hamilton-Jacobi-Bellman equation. We show a verification theorem and we exhibit some simple cases where such equation admits an explicit smooth solution, allowing us to construct optimal feedback controls.

연구 동기 및 목표

• 상태와 제어에 지연이 있는 확률적 지연 미분 방정식(SDDE)을 사용하여 불확실성 하에서 최적 광고 전략을 모델링한다.
• SDDE를 무한차원 힐버트 공간 공식으로 올림으로써 결정론적 제어 프레임워크를 확률적 설정으로 확장한다.
• 매끄러운 해가 존재하는 조건 하에서 관련 무한차원 해밀턴-자코비-벨리만(HJB) 방정식에 대한 검증 정리를 수립한다.
• 이차 비용과 선형 동역학을 가진 해가 존재하는 예시를 통해 명시적 피드백 제어의 존재를 보여준다.
• 매끄러운 해가 존재하지 않는 경우에 대한 향후 점성해(solution) 접근법의 기초를 마련한다.

제안 방법

• 상태와 제어에 지연이 있는 제어된 SDDE를 리프팅 기법을 통해 무한차원 힐버트 공간 내의 등가 무한차원 확률적 제어 문제로 재구성한다.
• 동적 프rogramming 원리를 적용하여 두 번째 차수, 비선형, 무한차원 HJB 방정식을 유도한다.
• 지연이 상태에만 영향을 주는 특수한 경우에 $L^2$ 접근법과 정방향-역방향 SDE 기법을 적용한다.
• 매끄러운 해가 존재하는 조건 하에서 HJB 방정식에 대한 검증 정리를 수립한다.
• 이차 비용 $h(z) = -\beta z_0^2$ 과 선형 종료 지ay $\varphi(x) = \gamma x_0$ 를 가진 구체적인 예를 구성하여 명시적 해법 가능성을 보여준다.
• 해의 형태 $v(t,x) = \langle w(t),x\rangle + c(t)$ 를 후보로 제안하고, 이를 적분적 의미에서 HJB 방정식을 만족하는지 확인한다.

실험 결과

연구 질문

• RQ1 상태와 제어에 지연이 있는 확률적 최적 제어 문제를 무한차원 마코프 문제로 재구성할 수 있는가?
• RQ2 이러한 문제와 관련된 HJB 방정식이 매끄러운 해를 갖는 조건은 무엇인가?
• RQ3 매끄러운 해의 존재가 최적 피드백 제어 법칙의 구성 가능성을 보장하는가?
• RQ4 광고 모델의 특정 매개변수 케이스에서는 명시적 피드백 제어를 유도할 수 있는가?
• RQ5 검증 정리가 성립하기 위해 동역학과 비용 구조에 필요한 조건는 무엇인가?

주요 결과

• 매끄러운 해가 존재하는 조건 하에서 무한차원 HJB 방정식에 대한 검증 정리가 수립되어 최적 피드백 제어의 유도가 가능하다.
• 이차 비용과 선형 동역학을 가진 특수한 경우에 HJB 방정식은 $v(t,x) = \langle w(t),x\rangle + c(t)$ 형태의 해를 가지며, 이는 적분적 의미에서 방정식을 만족한다.
• 최적 제어는 $z^*(t) = \frac{\langle B, w(t)\rangle^+}{2\beta}$ 로 명시적으로 도출되며, 상태 경로에 영향을 받지 않고 시간에 따라 변하는 피드백 법칙임을 나타낸다.
• 해 $w(t)$ 는 상미분 방정식 시스템과 한 방향 전파 방정식에 의해 결정되며, $w_1(t,\xi) = w_0(t - \xi) \mathbb{I}_{\{t - \xi \in [0,T]\}}$ 를 통해 지연 구조가 리프팅된 시스템에 그대로 유지됨을 보여준다.
• 값 함수 $[0,T] \times X$ 에서 연속이며, 후보 해는 상태 변수에 대해 두 번 미분 가능하며 검증 정리의 가정을 충족한다.
• 예시는 $w(t)$ 가 수반 연산자 $A^*$ 의 정의역에 있지 않더라도 해가 적분 해로서 유효함을 보여주며, 이는 접근법의 강건성을 뒷받침한다.