[논문 리뷰] On the Control of Density-Dependent Stochastic Population Processes with Time-Varying Behavior

Yingdong Lu, Mark S. Squillante외 1명|arXiv (Cornell University)|2017. 09. 23.

Stochastic processes and statistical mechanics참고 문헌 15인용 수 4

한 줄 요약

이 논문은 시간에 따라 변하는 밀도에 따라 변하는 확률적 인구 과정의 평균장 근사(limit)를 수립하며, 수렴이 비자율적 동역학계로 이르는 것을 보여준다. 또한, 확률적 과정의 최적 제어가 점차적으로 제한 동역학계의 최적 제어로 수렴함을 증명하여, 고전 결과를 엄밀한 기술적 분석을 통해 시간에 따라 변하는 매개변수로 확장한다.

ABSTRACT

The study of density-dependent stochastic population processes is important from a historical perspective as well as from the perspective of a number of existing and emerging applications today. In more recent applications of these processes, it can be especially important to include time-varying parameters for the rates that impact the density-dependent population structures and behaviors. Under a mean-field scaling, we show that such density-dependent stochastic population processes with time-varying behavior converge to a corresponding dynamical system. We analogously establish that the optimal control of such density-dependent stochastic population processes converges to the optimal control of the limiting dynamical system. An analysis of both the dynamical system and its optimal control renders various important mathematical properties of interest.

연구 동기 및 목표

• 시간에 따라 변하는 전이 비율을 갖는 밀도에 따라 변하는 확률적 인구 과정을 분석하여, 고정된 매개변수를 넘어서는 고전 모델을 확장한다.
• 해당 과정의 평균장 근사를 수립하며, 척도화 조건 하에서 연속 상태의 비자율적 동역학계로의 수렴을 증명한다.
• 확률적 과정의 최적 제어를 조사하고, 그 제어가 제한 동역학계의 최적 제어와 점차적으로 동일시됨을 보인다.
• 제한된 비자율적 시스템에 대한 수학적 성질—예: 평형점, 안정성, 점근적 행동—을 유도한다.
• 시간에 따라 변하는 동역학을 갖는 복잡한 대규모 시스템, 예를 들어 네트워크, 전염병, 금융 시스템의 제어를 위한 이론적 기반을 제공한다.

제안 방법

• 밀도에 따라 변하는 인구 역학을 위한 시간 연속, 상태 이산 마르코프 과정 모델을 수립하며, 시간에 따라 변하는 전이 강도를 포함한다.
• 모집단 크기 $ n \to \infty $ 에서 평균장 척도화를 적용하여, 스케일링된 과정이 미분방정식으로 지배되는 비자율적 동역학계로 수렴함을 증명한다.
• 생성자 분석과 모멘트 방정식을 사용하여 제한 시스템의 역학을 도출하며, 일阶 및 이阶 모멘트의 수렴을 보인다.
• 시간에 따라 변하는 제어 입력을 갖는 확률적 최적 제어 문제를 도입하고, 제어된 확률적 과정과 제어된 제한 시스템 간의 점근적 동치성을 증명한다.
• 비교 정리(예: 그론발 유형)와 리아푸노프 안정성 분석을 활용하여 모멘트를 유계화하고 수렴 속도를 확립한다.
• 하르트먼-그로브먼 정리와 리아푸노프 함수를 활용하여 제한된 비자율적 시스템의 안정성과 장기적 행동을 분석한다.

실험 결과

연구 질문

• RQ1 시간에 따라 변하는 전이 비율이 밀도에 따라 변하는 확률적 인구 과정의 평균장 근사에 어떤 영향을 미치는가?
• RQ2 유한 모집단의 확률적 과정의 최적 제어는 그 제한 비자율적 동역학계의 최적 제어로 수렴하는가?
• RQ3 시간에 따라 변하는 매개변수 하에서 제한 비자율적 동역학계의 평형점과 안정성 특성은 무엇인가?
• RQ4 시간에 따라 변하는 강도 하에서 모멘트 역학—특히 이阶 모멘트—는 어떻게 행동하며, 어떤 유계를 도출할 수 있는가?
• RQ5 고전적인 수렴 및 안정성 결과는 시간에 따라 변하는 계수를 갖는 비자율적 시스템으로 확장될 수 있는가?

주요 결과

• 시간에 따라 변하는 전이 비율이 존재하더라도, 스케일링된 밀도에 따라 변하는 확률적 과정은 분포 수렴을 통해 비자율적 동역학계로 수렴한다.
• 모집단 크기 $ n \to \infty $ 에서 확률적 과정의 최적 제어는 제한 동역학계의 최적 제어로 점차적으로 일치하며, 한계에서 동치성을 확립한다.
• 이阶 모멘트 $ \mathbb{E}[Y_n(t)^2] $ 에 대한 유계를 도출하였으며, 이는 시간에 따라 변하는 비율과 $ 1/n $ 에 따라 의존하는 함수 $ w_n(t) $ 로 균일하게 유계화되어 있음을 보여주며, $ L^2 $ 수렴을 시사한다.
• 일阶 모멘트 $ \mathbb{E}[Y_n(t)] $ 는 비교 정리를 통해 유도된 함수 $ z_n(t) $ 에 의해 아래에서 유계화되어 있음을 보였다. 이 함수는 시간에 따라 변하는 매개변수에 의존한다.
• 시간에 따라 변하는 계수로 인해 제한 시스템은 복잡한 행동을 보이며, 리아푸노프 함수와 하르트먼-그로브먼 정리를 활용하여 안정성을 분석한다.
• 분석을 통해 제한 시스템의 역학이 시간에 따라 변하는 미분방정식으로 지배됨을 확인하였으며, 비용 함수의 연속성과 리프시츠 연속성의 표준 가정 하에서 수렴 결과가 성립한다.