[논문 리뷰] Reconciling the Gaussian and Whittle Likelihood with an application to estimation in the frequency domain

Suhasini Subba Rao, Junho Yang|arXiv (Cornell University)|2020. 01. 20.

Complex Systems and Time Series Analysis참고 문헌 46인용 수 7

한 줄 요약

이 논문은 이차(stationary) 시간열에 대해 가우시안 및 윌틀리(Whittle) 우도 사이의 모순을 이산 푸리에 변환(discrete Fourier transform, DFT)에 대한 이중직교(biorthogonal) 변환을 사용하여 정확한 경계를 유도함으로써 해결한다. 주요 기여는 윌틀리 우도가 관측 창(Window) 외부의 최적 선형 예측(best linear predictions)을 생략하기 때문에 발생하는 편향(bias)을 규명한 점이며, 이 통찰은 기존의 가우시안 또는 윌틀리 우도보다 스펙트럼 발산(spectral divergence)을 더 잘 근사하는 새로운 주파수 도메인 준우도(criterion)를 가능하게 한다. 시뮬레이션을 통해 유한 표본에서의 성능이 향상됨을 확인하였다.

ABSTRACT

In time series analysis there is an apparent dichotomy between time and frequency domain methods. The aim of this paper is to draw connections between frequency and time domain methods. Our focus will be on reconciling the Gaussian likelihood and the Whittle likelihood. We derive an exact, interpretable, bound between the Gaussian and Whittle likelihood of a second order stationary time series. The derivation is based on obtaining the transformation which is biorthogonal to the discrete Fourier transform of the time series. Such a transformation yields a new decomposition for the inverse of a Toeplitz matrix and enables the representation of the Gaussian likelihood within the frequency domain. We show that the difference between the Gaussian and Whittle likelihood is due to the omission of the best linear predictions outside the domain of observation in the periodogram associated with the Whittle likelihood. Based on this result, we obtain an approximation for the difference between the Gaussian and Whittle likelihoods in terms of the best fitting, finite order autoregressive parameters. These approximations are used to define two new frequency domain quasi-likelihoods criteria. We show that these new criteria can yield a better approximation of the spectral divergence criterion, as compared to both the Gaussian and Whittle likelihoods. In simulations, we show that the proposed estimators have satisfactory finite sample properties.

연구 동기 및 목표

• 시간열 추정에서 가우시안 우도와 윌틀리 우도 사이의 이론적·실용적 괴리(discrepancy)를 해결하기 위해.
• 관측 창 외부의 최적 선형 예측이 생략된 점이 윌틀리 우도의 편향 원인임을 분석함으로써 그 원인을 규명하기 위해.
• 기존 방법보다 스펙트럼 발산 기준을 더 잘 근사하는 새로운 주파수 도메인 준우도 기준을 개발하기 위해.
• 예측 오차의 자기회귀 근사로부터 유도된 보정을 통합함으로써 유한 표본 추정 성능을 향상시키기 위해.
• 완전한 가우시안 우도의 정밀도를 유지하면서도 계산 효율성이 뛰어난, 소규모 표본에서도 높은 정확도를 보이는 대안을 제공하기 위해.

제안 방법

• 이산 푸리에 변환(DFT)에 대한 이중직교 변환을 사용하여 가우시안 우도와 윌틀리 우도 사이의 정확한 경계를 유도함.
• 이 이중직교 변환을 통해 토플리츠(Toeplitz) 행렬의 역행렬에 대한 새로운 분해를 제안함으로써, 가우시안 우도를 주파수 도메인에서 표현할 수 있도록 함.
• 두 우도 간의 차이가 윌틀리 우도에서 사용하는 페리오그램(periodogram)이 관측 영역 외부의 최적 선형 예측을 생략하기 때문임을 규명함.
• 유한 차수의 자기회귀 파라미터를 사용하여 우도 차이를 근사함으로써, 더 나은 스펙트럼 발산 근사가 가능해짐.
• 이 근사에 기반하여 두 가지 새로운 주파수 도메인 준우도 기준을 제안함. 이는 계산 효율성이 뛰어나고, 표본 수가 적은 경우 기존의 윌틀리 또는 가우시안 우도보다 더 정확함.
• AR(8) 모형에 대해 가우시안 및 비가우시안 오차를 가진 시뮬레이션을 통해 방법의 타당성을 검증함. 다양한 추정기 간의 편향과 표준오차를 비교함.

실험 결과

연구 질문

• RQ1 이차(stationary) 시간열에 대해 가우시안 우도와 윌틀리 우도 사이의 정확한 수학적 관계는 무엇인가?
• RQ2 왜 윌틀리 우도는 유한 표본에서 편향을 보이며, 가우시안 우도와 비교할 때 어떤 특정 성분이 누락되어 있는가?
• RQ3 자기회귀 모형을 사용하여 가우시안 우도와 윌틀리 우도 간의 차이를 체계적으로 근사할 수 있는가?
• RQ4 제안된 새로운 준우도 기준이 가우시안 또는 윌틀리 우도보다 스펙트럼 발산을 더 잘 근사하는가?
• RQ5 비가우시안 오차 조건 하에서 새로운 추정기의 성능은 어떻게 되며, 특히 유한 표본에서의 성능은 어떠한가?

주요 결과

• 가우시안 우도와 윌틀리 우도 간의 차이는 윌틀리 우도에서 사용하는 페리오그램이 관측 창 외부의 최적 선형 예측을 생략하기 때문임.
• 제안된 새로운 준우도 기준은 기존의 표준 윌틀리 우도에 비해 편향을 크게 줄임. 경계 보정이 적용된 타이퍼드 얀-워커(BC-tYW) 방법은 하이브리드 방법과 유사한 편향 감소 효과를 보임.
• n=100인 가우시안 AR(8) 모형에서 BC-tYW 방법은 루트 평균 제곱 오차(RMSE)가 7.319로, 윌틀리 우도(13.280)를 뛰어나며, 가우시안 우도(6.466)에 근접함.
• 비가우시안 카이제곱 치수(chi-squared) 오차 조건에서는 BC-tYW 방법이 낮은 편향(예: 초기 계수에서 0.001~0.007)과 표준오차(0.09~0.12)를 유지하며, 비모수적 BC-NP 방법보다 우수함. 비모수적 방법은 높은 표준오차와 튜닝 파rameter 민감도를 보임.
• 예측 오차의 자기회귀 근사를 기반으로 한 새로운 기준은 주파수 도메인에서 완전한 가우시안 우도의 대안으로서 계산이 단순하면서도 더 정확한 대안을 제공함.
• 다양한 오차 분포 조건에서의 강건성(robustness)을 입증함. 특히 유한 표본에서 표준 윌틀리 및 가우시안 우도에 비해 편향과 RMSE 측면에서 일관된 향상이 이루어짐.