[논문 리뷰] Estimation of missing data by using the filtering process in a time series modeling

R. Ahmad Mahir, Ahmad M. H. Al-Khazaleh|ArXiv.org|2008. 11. 05.

Hydrology and Drought Analysis참고 문헌 6인용 수 6

한 줄 요약

이 논문은 마레시아의 월별 강수량 자료(1969–1997)를 활용하여 ARIMA 모델링을 기반으로 한 새로운 필터링 기반 방법을 제안한다. 이 방법은 자기상관 기반 가중 이동 평균 필터를 적용하여 결측치를 보간한 후 ARIMA(1,0,0)(0,1,1)₆ 모델을 적합한다. 완전한 자료의 경우 Theil의 U = 0.72086, 결측치가 있는 자료의 경우 U = 0.72635로 예측 정확도가 유사하여 결측 관측치에 대해 강건함을 입증한다.

ABSTRACT

This paper proposed a new method to estimate the missing data by using the filtering process. We used datasets without missing data and randomly missing data to evaluate the new method of estimation by using the Box - Jenkins modeling technique to predict monthly average rainfall for site 5504035 Lahar Ikan Mati at Kepala Batas, P. Pinang station in Malaysia. The rainfall data was collected from the $1^{st}$ January 1969 to $31^{st}$ December 1997 in the station. The data used in the development of the model to predict rainfall were represented by an autoregressive integrated moving - average (ARIMA) model. The model for both datasets was ARIMA$(1,0,0)(0,1,1)_s$. The result checked with the Naive test, which is the Thiel's statistic and was found to be equal to $U=0.72086$ for the complete data and $U=0.726352$ for the missing data, which mean they were good models.

연구 동기 및 목표

• 필터링 기법을 활용하여 시간시계 자료의 결측치를 추정하는 강건한 방법을 개발하는 것.
• 인위적으로 결측치를 도입한 자료에 대해 ARIMA 모델의 예측 성능을 평가하는 것.
• 제안된 필터링 보간 방법을 사용한 ARIMA 예측 정확도를 단순 예측 방법과 비교하는 것.
• 결측치가 존재하는 상황에서도 모델 정확도를 유지하는 필터링 과정의 효과성을 검증하는 것.

제안 방법

• 제안된 방법은 완전한 자료의 자기상관에서 유도된 가중치를 사용하는 가중 이동 평균 필터를 사용한다.
• 결측치는 전체 시리즈의 상관 구조를 기반으로 한 가중치 ϕi를 활용한 주변 관측치의 선형 조합으로 대체된다.
• 보간된 자료는 박스-지킨스 ARIMA 접근법을 사용하여 모델링되며, 구체적으로 ARIMA(1,0,0)(0,1,1)₆ 모델을 적용한다.
• 모델은 최대우도추정법을 사용하여 적합되며, 잔차의 진단 검사를 통해 모델 적합성 여부를 검증한다.
• 예측 정확도는 ARIMA 예측 결과를 단순 예측 결과와 비교하기 위해 Theil의 U 통계량을 사용하여 평가된다.
• 이 방법은 1969년부터 1997년까지의 월 평균 강수량 자료를 대상으로 테스트되었으며, 결측치는 무작위로 도입되고 필터링 과정을 통해 보간되었다.

실험 결과

연구 질문

• RQ1 결측치가 존재하는 상황에서 필터링 기반 보간 방법이 ARIMA 모델의 예측 정확도를 유지할 수 있는가?
• RQ2 제안된 필터링 방법을 사용할 때, 완전한 자료와 결측치가 있는 자료 간의 ARIMA 모델 성능은 어떻게 비교되는가?
• RQ3 보간된 자료의 예측 정확도는 완전한 자료와 통계적으로 유사한가?
• RQ4 이 필터링 방법은 평균 대체나 단순 예측과 같은 표준 보간 기법보다 우수하거나 동등한가?

주요 결과

• ARIMA(1,0,0)(0,1,1)₆ 모델은 완전한 자료와 결측치가 있는 자료 버전 모두에서 최적의 적합 모델로 확인되었다.
• 보간된 자료에 대한 ARIMA 모델의 예측 성능(Theil의 U = 0.72635)은 완전한 자료의 성능(Theil의 U = 0.72086)과 거의 동일하여 정확도 저하가 거의 없음을 시사한다.
• 모델 잔차에는 유의미한 자기상관이 없었으며, 이는 ARIMA(1,0,0)(0,1,1)₆ 모델이 두 자료 세트 모두에 대해 적합하다는 것을 확인한다.
• 완전한 자료에 대한 ARIMA 모델의 RMSE는 0.66457이었고, 결측치가 있는 자료 버전은 0.65539였으며, 정밀도가 일관됨을 보여준다.
• 보간된 자료의 모델 파라미터(ϕ = 0.178, θ = 0.854)는 완전한 자료의 파라미터(ϕ = 0.159, θ = 0.857)와 유사하여 안정성을 확인한다.
• 결과적으로 필터링 기반 보간 방법은 높은 예측 정확도를 유지하며, Theil의 U 값이 1.0 이하로 낮게 유지되어 단순 예측보다 뛰어난 성능을 보임을 확인한다.