[논문 리뷰] Statistical Inference for Stochastic Differential Equations with Memory

Martin Lysy, Natesh S. Pillai|arXiv (Cornell University)|2013. 07. 03.

Stochastic processes and financial applications참고 문헌 48인용 수 5

한 줄 요약

이 논문은 장기적 기억을 가지는 분수 Brown 운동(fractional Brownian motion)에 의해 구동되는 이산적으로 관측된 확률적 미분 방정식(SDE)에 대한 베이지안 추론 프레임워크를 개발한다. 데이터 보완과 하이브리드 몬테카를로 알고리즘을 활용하여, 이론적 확률 밀도가 계산이 불가능한 상황에서도 드리프트, 확산, 허스트 매개수 매개수를 함께 추정한다. 토플리츠 행렬 연산을 위한 순환 행렬 삽입 기법을 통해 계산을 효율적으로 수행한다.

ABSTRACT

In this paper we construct a framework for doing statistical inference for discretely observed stochastic differential equations (SDEs) where the driving noise has 'memory'. Classical SDE models for inference assume the driving noise to be Brownian motion, or "white noise", thus implying a Markov assumption. We focus on the case when the driving noise is a fractional Brownian motion, which is a common continuous-time modeling device for capturing long-range memory. Since the likelihood is intractable, we proceed via data augmentation, adapting a familiar discretization and missing data approach developed for the white noise case. In addition to the other SDE parameters, we take the Hurst index to be unknown and estimate it from the data. Posterior sampling is performed via a Hybrid Monte Carlo algorithm on both the parameters and the missing data simultaneously so as to improve mixing. We point out that, due to the long-range correlations of the driving noise, careful discretization of the underlying SDE is necessary for valid inference. Our approach can be adapted to other types of rough-path driving processes such as Gaussian "colored" noise. The methodology is used to estimate the evolution of the memory parameter in US short-term interest rates.

연구 동기 및 목표

• 클래식한 SDE 모델이 마르코프성(백색 잡음)을 가정함으로써 실제 데이터의 장기적 의존성을 반영하지 못하는 한계를 해결한다.
• 장기적 기억을 가지는 비마르코프성 과정인 분수 Brown 운동(fBM)에 의해 구동되는 SDE에 대한 통계적 추론 프레임워크를 개발한다. 이는 허스트 매개수 H로 인덱싱된다.
• 이론적 확률 밀도가 계산이 불가능한 상황에서, 이산적으로 관측된 데이터로부터 알려지지 않은 허스트 매개수 H와 드리프트, 확산 계수를 함께 추정한다.
• Euler-Maruyama 이산화와 가우시안 근사법을 활용한 계층적 데이터 보완 접근법을 통해 이론적 확률 밀도 평가의 계산적 과제를 해결한다.
• 하이브리드 몬테카를로 알고리즘을 도입하여 매개수와 잠재 경로를 함께 갱신함으로써 고차원 매개수 공간에서의 사후 분포 샘플링 효율성을 향상시킨다.

제안 방법

• 이론적 확률 밀도가 계산이 불가능한 상황에서도 추론이 가능하도록, 관측되지 않은 연속적인 SDE 경로를 잠재 변수로 간주하는 데이터 보완 전략을 사용한다.
• SDE를 이산화하기 위해 Euler-Maruyama 방법을 적용하여, fBM 증분에서 유도된 토플리츠 공분산 행렬을 가진 선형 가우시안 모델로 근사한다.
• fBM 증분의 토플리츠 분산-공분산 행렬 연산을 효율적으로 수행하기 위해 순환 행렬 삽입 기법을 활용하여, 계산 비용을 O(N³)에서 O(N log N)으로 감소시킨다.
• 이산화된 SDE 역학에서 유도된 평균과 공분산을 기반으로, 초기값과 매개수 조건 하에서 다변량 가우시안 밀도로 이론적 확률 밀도를 구성한다.
• 드리프트, 확산, 허스트 매개수를 함께 샘플링하는 하이브리드 몬테카를로(HMC) 알고리즘을 구현하여, 특히 고차원 매개수 공간에서 혼합 성능과 수렴 속도를 향상시킨다.
• 매개수에 대해 공액 사전 확률 분포를 사용하고, 블록 행렬 분해를 통한 조건부 사후 분포를 유도하여 효율적인 겹겹이 샘플링(Gibbs sampling) 단계를 가능하게 한다.

실험 결과

연구 질문

• RQ1 이론적 확률 밀도가 기억 효과로 인해 계산이 불가능한 상황에서, 분수 Brown 운동에 의해 구동되는 SDE에 대한 통계적 추론은 어떻게 수행할 수 있는가?
• RQ2 메모리가 있는 SDE에 대해 장기적 의존성 구조를 유지하는 효율적이고 타당한 이산화 방법은 무엇인가?
• RQ3 베이지안 프레임워크를 활용해 이산 시간 관측 자료로부터 허스트 매개수 H를 드리프트 및 확산 계수와 함께 함께 추정할 수 있는가?
• RQ4 고차원 매개수 공간에서 SDE 매개수와 잠재 경로를 모두 포함할 때, 사후 분포 샘플링은 어떻게 향상시킬 수 있는가?
• RQ5 제안된 방법은 미국 단기 금리와 같은 장기적 기억 현상을 모델링하는 데 있어 고전적인 마르코프성 SDE 추론에 비해 어느 정도 뛰어난가?

주요 결과

• 제안된 데이터 보완 및 HMC 기반 추론 프레임워크는 분수 Brown 운동에 의해 구동되는 SDE에서 드리프트, 확산, 허스트 매개수를 함께 추정할 수 있도록 한다.
• 순환 행렬 삽입 기법을 통해 토플리츠 행렬 연산을 신속한 푸리에 변환으로 변환함으로써 이론적 확률 밀도 계산을 효율적으로 수행할 수 있으며, N > 1000인 경우 계산 복잡도를 O(N³)에서 O(N log N)으로 감소시킨다.
• 이 방법은 미국 단기 금리 데이터에서 장기적 의존성을 성공적으로 포착하여, 변화하는 시장 역학을 반영하는 시간에 따라 변하는 기억 매개수 H를 드러낸다.
• 하이브리드 몬테카를로 알고리즘의 사용은 특히 고차원 매개수 공간에서 표준 랜덤 워크 메트로폴리스 방법에 비해 사후 분포 샘플링의 혼합 성능을 크게 향상시킨다.
• 공액 사전 구조 덕분에 조건부 사후 분포를 해석적으로 계산할 수 있어, 작은 표본 크기에서도 효율적인 겹겹이 샘플링과 강인한 추론이 가능하다.
• 이 프레임워크는 fBM 이외의 비마르코프성 구동 과정, 예를 들어 가우시안 색 잡음 등으로도 확장 가능하여, 더 넓은 적용 가능성을 갖는다.