[논문 리뷰] Performance of information criteria used for model selection of Hawkes process models of financial data

J. M. Chen, Alan G. Hawkes외 2명|arXiv (Cornell University)|2017. 02. 20.

Point processes and geometric inequalities인용 수 4

한 줄 요약

이 연구는 고빈도 금융 데이터에서 혼합 지수형 강하도 커널을 가진 하크스 과정의 차수 선택을 위한 AIC, BIC, HQ 정보 기준의 성능을 평가한다. 현실적인 파라미터 조합과 표본 크기를 사용한 몬테카를로 시뮬레이션을 통해, 작은 표본에서는 AIC가 BIC와 HQ보다 우수한 성능을 보이며, 큰 표본에서는 일致성 기준(BIC, HQ)이 거의 100%의 정확한 모형 선택을 달성하는 것으로 나타났다. 그러나 AIC는 표본 크가 증가함에 따라 성능이 비단조화적으로 변동하는 경향을 보였다.

ABSTRACT

We test three common information criteria (IC) for selecting the order of a Hawkes process with an intensity kernel that can be expressed as a mixture of exponential terms. These processes find application in high-frequency financial data modelling. The information criteria are Akaike's information criterion (AIC), the Bayesian information criterion (BIC) and the Hannan-Quinn criterion (HQ). Since we work with simulated data, we are able to measure the performance of model selection by the success rate of the IC in selecting the model that was used to generate the data. In particular, we are interested in the relation between correct model selection and underlying sample size. The analysis includes realistic sample sizes and parameter sets from recent literature where parameters were estimated using empirical financial intra-day data. We compare our results to theoretical predictions and similar empirical findings on the asymptotic distribution of model selection for consistent and inconsistent IC.

연구 동기 및 목표

• 혼합 지수형 강하도 커널을 가진 하크스 과정의 정확한 모형 차수 선택을 위한 AIC, BIC, HQ의 성능 평가.
• 실제 금융 데이터 설정에서 표본 크기가 증가함에 따라 모형 선택 정확도가 어떻게 변하는지 조사.
• 정보 기준의 일치성 및 점근적 행동에 대한 이론적 예측과 실제 결과를 비교.
• 실제 일일 금융 데이터에서 유도된 다양한 파라미터 구성과 표본 크기에서 정보 기준의 강건성 평가.
• 특히 AIC의 모형 선택 성공률에서 비단조화적 행동이 나타나는지 점검.

제안 방법

• 박막 알고리즘을 사용하여 최대 3개의 지수 항의 가중 합으로 이루어진 강하도 커널을 가진 모의 하크스 과정 생성.
• MATLAB의 fmincon 최적화 루틴을 사용하여 최대우도추정법(MLE)으로 모형 파라미터 추정.
• MLE에서 구한 로그우도를 바탕으로 각 후보 모형 차수에 대해 AIC, BIC, HQ 값 계산.
• 표본 크기(T = 500에서 T = 21,600까지)와 두 가지 현실적인 파라미터 조합을 사용한 몬테카를로 실험 수행.
• 모형 선택 성공률을 진짜 데이터 생성 모형 차수를 정확히 선택한 시뮬레이션 비율로 측정.
• 추정 정확도 평가를 위해 시뮬레이션 전반에서 파라미터 추정의 제곱근평균제곱오차(RMSE) 평가.

실험 결과

연구 질문

• RQ1 혼합 지수형 커널을 가진 하크스 과정에서 AIC, BIC, HQ는 작은에서 중간 크기의 표본에서 어떤 식으로 정확한 모형 차수를 선택하는가?
• RQ2 AIC, BIC, HQ의 모형 선택 성공률은 표본 크기가 증가함에 따라 단조롭게 증가하는가, 아니면 비단조화적인 패턴이 존재하는가?
• RQ3 정보 기준의 성능는 일치성 및 점근적 행동에 대한 이론적 기대와 어떻게 비교되는가?
• RQ4 파라미터 추정 오차(RMSE)는 특히 고차수 성분에서 모형 선택 정확도에 어느 정도 영향을 미치는가?
• RQ5 소표본 설정에서 별도의 AIC보다 AICc/AIC 조합 규칙이 더 효과적인가?

주요 결과

• 작은 표본(T = 500)에서는 AIC가 가장 높은 모형 선택 성공률를 기록했으며, 이는 AIC의 일치성 부족과 과적합 경향과 일치한다.
• BIC와 HQ는 표본 크가 증가함에 따라 모형 선택 성공률가 단조롭게 향상되었으며, T = 2000에서 거의 100%의 정확한 선택을 달성했다.
• AIC는 비단조화적인 성공률 패턴을 보였으며, T ≈ 1800 근처에서 성능이 저하되어 중간 크기의 표본에서 과적합 경향이 나타나는 것으로 나타났다.
• 더 큰 표본(T ≥ 3600)에서는 일치성 기준(BIC, HQ)이 90% 이상의 정확한 모형 선택을 달성했으며, T = 21,600에서 BIC와 HQ 모두 거의 100%에 수렴했다.
• T = 21,600에서 AIC의 성공률는 약 94%로 약간 감소했으며, 모형 차수를 과대추정할 확률이 6%로 나타나, 과도하게 복잡한 모형을 선택하는 경향을 보였다.
• 작은 표본(T = 600, 900)에서는 특히 두 번째 지수 성분에서 파라미터 추정의 RMSE가 높았지만, 표본 크기가 증가함에 따라 크게 감소하여 모형 선택 정확도가 향상되었다.