[論文レビュー] Reconciling the Gaussian and Whittle Likelihood with an application to estimation in the frequency domain

Suhasini Subba Rao, Junho Yang|arXiv (Cornell University)|Jan 20, 2020

Complex Systems and Time Series Analysis参考文献 46被引用数 7

ひとこと要約

本稿は、離散フーリエ変換への双正規変換を用いて、2次モーメント定常時系列のガウス型尤度とウィットル尤度の間の正確な境界を導出することにより、これら2つの尤度を統合する。主な貢献は、ウィットル尤度が観測ウィンドウ外の最良線形予測を無視していることに起因するバイアスを特定したことである。この洞察により、ガウス型尤度やウィットル尤度よりもスペクトル発散基準をよりよく近似する新しい周波数ドメイン上の準尤度基準が提案され、シミュレーションでは有限標本における性能が向上する。

ABSTRACT

In time series analysis there is an apparent dichotomy between time and frequency domain methods. The aim of this paper is to draw connections between frequency and time domain methods. Our focus will be on reconciling the Gaussian likelihood and the Whittle likelihood. We derive an exact, interpretable, bound between the Gaussian and Whittle likelihood of a second order stationary time series. The derivation is based on obtaining the transformation which is biorthogonal to the discrete Fourier transform of the time series. Such a transformation yields a new decomposition for the inverse of a Toeplitz matrix and enables the representation of the Gaussian likelihood within the frequency domain. We show that the difference between the Gaussian and Whittle likelihood is due to the omission of the best linear predictions outside the domain of observation in the periodogram associated with the Whittle likelihood. Based on this result, we obtain an approximation for the difference between the Gaussian and Whittle likelihoods in terms of the best fitting, finite order autoregressive parameters. These approximations are used to define two new frequency domain quasi-likelihoods criteria. We show that these new criteria can yield a better approximation of the spectral divergence criterion, as compared to both the Gaussian and Whittle likelihoods. In simulations, we show that the proposed estimators have satisfactory finite sample properties.

研究の動機と目的

• 時系列推定におけるガウス型尤度とウィットル尤度の理論的・実用的差異を解消すること。
• 観測ウィンドウ外の最良線形予測が欠落していることにより生じるウィットル尤度のバイアスの原因を特定すること。
• 既存手法よりもスペクトル発散基準をよりよく近似する新しい周波数ドメイン上の準尤度基準を開発すること。
• 予測誤差の自己回帰近似から導かれる補正を組み込むことで、有限標本における推定性能を向上させること。
• 完全なガウス型尤度の計算コストを抑えつつも、小標本において高い精度を維持する計算効率の良い代替手法を提供すること。

提案手法

• 離散フーリエ変換（DFT）への双正規変換を用いて、ガウス型尤度とウィットル尤度の間の正確な境界を導出する。
• この双正規変換を介して、テープリッツ行列の逆行列に対する新しい分解を導入し、ガウス型尤度を周波数ドメインで表現可能にする。
• 2つの尤度の差が、ウィットル尤度で用いられるピリオドグラムにおいて、観測領域外の最良線形予測が無視されていることに起因することを特定する。
• 有限次の自己回帰パラメータを用いて尤度の差を近似し、スペクトル発散基準の近似を改善する。
• これらの近似に基づき、2つの新しい周波数ドメイン上の準尤度基準を提案する。これらは計算効率が良く、有限標本においてウィットル尤度やガウス型尤度よりも精度が優れている。
• AR(8)モデルを用いたシミュレーションを通じて、ガウス分布および非ガウス分布のノイズ下で、複数の推定器のバイアスと標準誤差を比較して手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 2次モーメント定常時系列におけるガウス型尤度とウィットル尤度の正確な数学的関係は何か？
• RQ2 ウィットル尤度が有限標本でバイアスを示す理由は何か？ガウス型尤度と比較して、具体的にどの成分が欠落しているか？
• RQ3 自己回帰モデルを用いて、ガウス型尤度とウィットル尤度の差を体系的に近似可能か？
• RQ4 提案された新しい準尤度基準は、ガウス型尤度やウィットル尤度よりもスペクトル発散基準をよりよく近似するか？
• RQ5 非ガウス的ノイズ下でも、特に有限標本において、新しい推定器はどのように性能を発揮するか？

主な発見

• ガウス型尤度とウィットル尤度の差は、ウィットル尤度で用いられるピリオドグラムにおいて、観測ウィンドウ外の最良線形予測が無視されていることに起因する。
• 提案された新しい準尤度基準は、標準的なウィットル尤度と比較して顕著なバイアス低減を達成しており、境界補正付きチューブド・ユール＝ウォーカー（BC-tYW）法はハイブリッド手法と同等のバイアス低減効果を示した。
• n=100のガウス型AR(8)モデルでは、BC-tYW法の平均二乗誤差（RMSE）は7.319であった。これはウィットル尤度の13.280を下回り、ガウス型尤度の6.466に近い性能を達成した。
• 非ガウス的カイ二乗分布ノイズ下でも、BC-tYW法は低バイアス（初期係数で0.001〜0.007）と低標準誤差（0.09〜0.12）を維持し、チューニングパラメータに敏感で標準誤差が大きい非パラメトリックなBC-NP法を上回った。
• 予測誤差の自己回帰近似に基づく新しい基準は、周波数ドメインにおいて計算が単純で、完全なガウス型尤度の代替としてより高い精度を実現する。
• 異なるノイズ分布の下でも、本手法は一貫したバイアス低減とRMSEの改善を示し、有限標本において標準的なウィットル尤度やガウス型尤度を上回る性能を発揮した。