[논문 리뷰] Wiener-Hopf factorization for time-inhomogeneous Markov chains and its application

Tomasz R. Bielecki, Igor Cialenco외 2명|arXiv (Cornell University)|2018. 01. 17.

Gene Regulatory Network Analysis참고 문헌 11인용 수 4

한 줄 요약

이 논문은 조각별로 일정한 생성자를 갖는 유한 상태, 시간 비균일 마코프 체인에 대해 새로운 유크리-홉프 분해를 제안하며, 통과 시간 기대값의 효율적 계산을 가능하게 하는 맞춤형 랜덤화 기법을 사용한다. 주요 기여는 첫 통과 확률과 할인된 도달 시간의 기대값과 같은 첫 통과 기능들을 수학적으로 엄밀하고 계산적으로 효율적인 프레임워크로 계산하는 데 있다.

ABSTRACT

In this paper we derive the Wiener-Hopf factorization for a finite-state time-inhomogeneous Markov chain. To the best of our knowledge, this study is the first attempt to investigate the Wiener-Hopf factorization for time-inhomogeneous Markov chains. In this work we only deal with a special class of time-inhomogeneous Markovian generators, namely piece-wise constant, which allows to use an appropriately tailored randomization technique. Besides the mathematical importance of the Wiener-Hopf factorization methodology, there is also an important computational aspect: it allows for efficient computation of important functionals of Markov chains.

연구 동기 및 목표

• 문헌에서 이전에 다루어지지 않은 문제인 시간 비균일 마코프 체인에 대한 유크리-홉프 분해를 개발하기 위해.
• 분해를 실현 가능하고 계산적으로 타당하게 만들기 위해 시간에 따라 조각별 일정한 생성자라는 특정 클래스에 집중하기 위해.
• 첫 통과 확률과 할인된 도달 시간의 기대값과 같은 핵심 기능들의 효율적 계산을 가능하게 하기 위해.
• 실제 구현을 위한 수치 알고리즘을 개발하기 위해 랜덤화와 역 라플라스 변환 근사 기법을 기반으로 하기 위해.
• 몬테카를로 시뮬레이션과 비교하여 수치 예제를 통해 방법의 정확성과 속도를 입증하기 위해.

제안 방법

• 저자는 조각별 일정한 시간 비균일 생성자에 특화된 랜덤화 기법을 사용하여 유크리-홉프 분해를 유도한다.
• 분해는 첫 통과 시간을 이끄는 덧셈 기능 φₜ = ∫₀ᵗ v(Xᵤ) du 를 분석함으로써 구성된다.
• 이 방법은 생성자가 일정한 간격 동안 유지되는 동안 복원 연산자와 전이 행렬을 포함하는 방정식계를 푸는 데 의존한다.
• 분해된 복원 연산자의 역 라플라스 변환은 탈본(Talbot) 및 가버-스테프레스트(Gaver-Stehfest) 방법을 사용하여 수치적으로 근사한다.
• 알고리즘은 ℰ[e⁻ᶜτ₀⁺ 1_{X_{τ₀⁺}=j}} | X₀=i] (i ∈ E⁻, j ∈ E⁺) 와 같은 형식의 기대값을 계산한다. 다른 통과 유형에 대해서도 유사한 표현식을 포함한다.
• 단변수 수치 역변환의 반복적 적용을 통해 다변수 역 라플라스 변환을 다룰 수 있도록 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 기존의 시간 균일 기법이 실패하는 시간 비균일 마코프 체인으로 확장된 유크리-홉프 분해가 의미 있게 가능할 수 있는가?
• RQ2 조각별 일정한 시간 비균일 생성자에 대해 분해를 어떻게 적응시켜 확률적이고 계산적으로 유용성을 유지할 수 있는가?
• RQ3 이 비-마코프-시간 설정에서 ℰ[e⁻ᶜτ₀⁺ 1_{X_{τ₀⁺}=j}} | X₀=i] 와 같은 첫 통과 기능들을 효율적으로 계산할 수 있는 수치 기법은 무엇인가?
• RQ4 이러한 기능들에 대해 제안된 방법이 몬테카를로 시뮬레이션과 비교해 정확성과 속도 면에서 어떻게 성능을 내는가?
• RQ5 분해가 양의 및 음의 외출 기능(τₜ⁺ 및 τₜ⁻)을 대칭적으로 다룰 수 있도록 일반화될 수 있는가?

주요 결과

• 제안된 유크리-홉프 분해는 고전적 프레임워크를 조각별 일정한 생성자를 갖는 시간 비균일 마코프 체인으로 성공적으로 확장한다.
• 이 방법은 기존의 시간 균일 분해로는 접근이 어려운 Πᶜ⁺(i,j;s₁,…,sₙ) 및 Ψᶜ⁺(ℓ,i,j;s₁,…,sₙ) 와 같은 첫 통과 기능들을 정확하고 효율적으로 계산할 수 있게 한다.
• 수치 결과는 유크리-홉프 방법이 0.15초 만에 Πᶜ⁻(e₊,e₋) = 0.6501 을 계산하며, 몬테카를로 추정치 0.6462 (3.12초 소요) 와 매우 유사한 결과를 도출함을 보여준다.
• 10,000개의 경로로 수행된 몬테카를로 시뮬레이션보다 20배 이상 빠른 속도를 보이며 높은 정확도를 유지함을 입증한다.
• 다변수 역 라플라스 변환에 대해 탈본 및 가버-스테프레스트 방법을 사용함으로써 분해된 복원 연산자의 안정적이고 정확한 수치 역변환이 가능해진다.
• 프레임워크는 대칭적이며 상태를 재라벨링하고 입력을 조정함으로써 Πᶜ⁺(e₋,e₊) 도 계산할 수 있도록 조정 가능하므로 광범위한 적용 가능성을 보여준다.