[논문 리뷰] Piecewise deterministic Markov process — recent results

Romain Azaïs, Jean-Baptiste Bardet외 3명|arXiv (Cornell University)|2014. 01. 01.

Gene Regulatory Network Analysis참고 문헌 53인용 수 58

한 줄 요약

이 논문은 조각적 결정론적 마르코프 과정(PDMPs)의 최근 발전을 검토하며, 장기적 행동, 점프 간격 시간 분포의 통계적 추정, 수치 시뮬레이션 방법에 중점을 둔다. 본 논문은 점프 후 위치와 점프 간격 시간을 기반으로 한 임베디드 마르코프 체인을 이용하여 점프 간격 시간의 조건부 밀도에 대한 비모수 커널 추정기를 제안하며, 정규성 조건 하에서 일致성을 입증한다.

ABSTRACT

We give a short overview of recent results on a specific class of Markov process: the Piecewise Deterministic Markov Processes (PDMPs). We first recall the definition of these processes and give some general results. On more specific cases such as the TCP model or a model of switched vector fields, better results can be proved, especially as regards long time behaviour. We continue our review with an infinite dimensional example of neuronal activity. From the statistical point of view, these models provide specific challenges: we illustrate this point with the example of the estimation of the distribution of the inter-jumping times. We conclude with a short overview on numerical methods used for simulating PDMPs.

연구 동기 및 목표

• PDMPs의 최근 이론적 및 응용적 발전에 대한 종합적인 개요 제공.
• 일般 상태 공간을 가진 PDMPs에서 점프 간격 시간의 조건부 분포를 추정하는 통계적 과제 해결.
• 관측된 임베디드 마르코프 체인을 이용하여 점프 레이트 및 생존 함수에 대한 비모수 추정 방법 개발.
• 약한 정규성 가정 하에서 제안된 비모수 추정기의 이론적 일치성 확립.
• PDMPs를 시뮬레이션하고 관련 최적 제어 문제를 해결하기 위한 수치 방법 서술.

제안 방법

• 점프 후 위치 x와 y, 시간 t를 고려하여 점프 레이트 함수 eλ(x, y, t)에 대한 비모수 커널 추정기 제안.
• 상태 공간의 분할 (Bk)을 도입하고, 관측된 빈도를 이용해 조건부 생존 확률 H(A, Bk, t)를 경험적으로 추정.
• 생존 분석의 Aalen의 곱셈 강도 모델과 유사한 연속시간 마르코프 구조를 활용하여 추정기의 일치성 근거 제시.
• 최종 추정기를 가중치 합 ∑k bln(A, Bk, t) · H̃n(A, Bk, t) 형태로 구성하며, bln은 레이트를 추정하고 H̃n은 생존 확률을 추정.
• 점프 시점과 추가로 포아송 분포로 샘플링된 시점에서 관측한 연속시간 마르코프 체인 {θn}을 활용하여 비가역성 및 재귀성 성질 확보.
• PDMP의 재귀성과 임베디드 체인 {θn}의 재귀성 간의 등가성을 이용하여 포스터-리아푸노프 기준을 활용한 에르고딕성 분석 가능.

실험 결과

연구 질문

• RQ1 PDMP에서 점프 간격 시간의 조건부 밀도는 비모수 설정 하에서 어떻게 일관되게 추정할 수 있는가?
• RQ2 일반 상태 공간을 가진 PDMPs에서 불변 측도의 존재성과 에르고딕성에 대한 충분 조건은 무엇인가?
• RQ3 수치 방법은 어떻게 PDMPs를 시뮬레이션하고 기대값 또는 정지 시간을 계산하는 데 적응할 수 있는가?
• RQ4 임베디드 마르코프 체인 {Θn}은 PDMPs의 장기적 행동을 특징짓는 데 어떤 역할을 하는가?
• RQ5 약한 정규성 가정 하에서도 일관성 있는 점프 레이트의 비모수 추정기는 어떻게 구성할 수 있는가?

주요 결과

• 제안된 점프 간격 시간의 조건부 밀도에 대한 비모수 추정기는 일관성 있다: 임의의 ε, η > 0에 대해, 모든 n ≥ N에 대해 최대 노름 오차가 η를 초과할 확률이 ε 이하가 되는 N, A, 및 분할 (Bk)가 존재한다.
• 추정기는 X의 모든 컴팩트 부분집합 K에서 균일 수렴을 보이며, 상태 공간의 유계 영역에서 안정적인 근사 보장.
• 점프 레이트 eλ에 대한 커널 추정기의 일관성은 생존 분석의 곱셈 강도 모델과 유사한 연속시간 마르코프 구조에 기반한다.
• 관측된 생존 확률 Pν[Sn+1 > t, Zn+1 ∈ Bk | Zn ∈ A]의 경험적 추정은 일관성 있으며, 최종 추정기의 핵심 구성 요소를 형성한다.
• PDMP의 재귀성과 임베디드 체인 {θn}의 재귀성 간의 등가성 덕분에 표준 마르코프 체인 도구를 활용해 장기적 행동을 유추할 수 있다.
• 임베디드 체인 {Θn}의 양자화 또는 커널 이산화를 기반으로 한 수치 방법은 PDMPs의 최적 정지 및 인프루드 제어 문제 해결에 효과적이다.