[논문 리뷰] Goodness-of-Fit Test for Mismatched Self-Exciting Processes

Wei Song, Shixiang Zhu외 2명|arXiv (Cornell University)|2020. 06. 16.

Statistical Mechanics and Entropy인용 수 1

한 줄 요약

이 논문은 자기흥분 점과정의 생성 모델에 대한 새로운 적합도 검정(GOF) 방법을 제안한다. 비모수적이고 자기정규화(self-normalizing)된 일반화 스코어(GS) 통계량을 사용하며, 준최대우도추정 이론(Quasi-maximum-likelihood estimation theory)을 활용하여 모형 오특정(specification)을 명시적으로 고려하고 점근적 타당성을 확립함으로써, 진정한 과정이 알려져 있지 않은 경우에도 신경망 기반 모델의 신뢰성 있는 평가가 가능하다.

ABSTRACT

Recently there have been many research efforts in developing generative models for self-exciting point processes, partly due to their broad applicability for real-world applications. However, rarely can we quantify how well the generative model captures the nature or ground-truth since it is usually unknown. The challenge typically lies in the fact that the generative models typically provide, at most, good approximations to the ground-truth (e.g., through the rich representative power of neural networks), but they cannot be precisely the ground-truth. We thus cannot use the classic goodness-of-fit (GOF) test framework to evaluate their performance. In this paper, we develop a GOF test for generative models of self-exciting processes by making a new connection to this problem with the classical statistical theory of Quasi-maximum-likelihood estimator (QMLE). We present a non-parametric self-normalizing statistic for the GOF test: the Generalized Score (GS) statistics, and explicitly capture the model misspecification when establishing the asymptotic distribution of the GS statistic. Numerical simulation and real-data experiments validate our theory and demonstrate the proposed GS test's good performance.

연구 동기 및 목표

• 진정한 데이터 생성 과정이 알려져 있지 않은 경우 자기흥분 점과정의 생성 모델에 대한 신뢰할 수 있는 평가 방법이 부족한 문제를 해결하기 위해.
• 진정한 모형이 알려져 있는 전통적인 GOF 검정이 제한되는 상황에서, 생성 모델이 근사치일 뿐인 경우에 그 한계를 극복하기 위해.
• 신경망 기반 점과정 모델에 내재된 모형 오특정을 고려한 통계적으로 타당한 GOF 검정을 개발하기 위해.
• 준최대우도이론을 사용하여 모형 오특정 하에서 제안된 검정 통계량의 점근적 분포를 수립하기 위해.
• 시뮬레이션과 실제 데이터를 통한 실험을 통해 방법의 타당성과 검정력을 실증적으로 검증하기 위해.

제안 방법

• 자기흥분 점과정에서의 적합도 검정을 위한 비모수적이고 자기정규화된 일반화 스코어(GS) 통계량을 제안한다.
• 준최대우도추정자(QMLE) 이론과 연결하여, 모형 오특정 하에서 GS 통계량의 점근적 분포를 수립한다.
• 자기흥분 과정의 준로그우도(quasi-log-likelihood)에서 유도된 스코어 함수를 사용하여 GS 검정 통계량을 구성한다.
• 검정 통계량의 안정성을 확보하고 알려지지 않은 분산 매개변수에 대한 의존성을 제거하기 위해 자기정규화 기법을 적용한다.
• 모형이 오특정되어 있더라도, 정확한 모형 사양이 맞을 경우의 귀무가설 하에서 GS 통계량의 점근적 분포를 도출한다.
• 수치적 시뮬레이션과 실제 데이터 실험을 통해 제안된 GS 검정의 이론적 성질과 성능을 검증한다.

실험 결과

연구 질문

• RQ1 진정한 데이터 생성 과정이 알려져 있거나 관측되지 않을 경우, 자기흥분 점과정의 생성 모델에 대한 적합도 검정을 개발할 수 있는가?
• RQ2 점과정의 GOF 검정 통계량의 점근적 분포에서 모형 오특정을 공식적으로 어떻게 고려할 수 있는가?
• RQ3 제안된 일반화 스코어(GS) 통계량은 자기흥분 과정에서 모형 오특정 상황에서도 타당한 크기와 검정력을 유지하는가?
• RQ4 GS 검정은 시뮬레이션 데이터와 실제 데이터 모두에서 잘 지정된 모형과 오특정된 모형을 신뢰성 있게 구분할 수 있는가?
• RQ5 진정한 과정이 알려져 있지 않은 상황에서, 기존의 전통적 GOF 프레임워크와 비교해 제안된 방법은 어떻게 다른가?

주요 결과

• 제안된 일반화 스코어(GS) 통계량은 모형 오특정 하에서도 점근적 타당성을 확보하여, 생성 모델이 진정한 데이터 생성 과정이 아니더라도 신뢰할 수 있는 GOF 검정이 가능하다.
• 수치적 시뮬레이션에서 GS 검정은 정확한 크기와 양호한 검정력을 유지하며, 모형 오특정에 대한 강건성을 입증한다.
• 이론적 분석을 통해 QMLE 이론을 활용하여 모형 오특정의 영향을 효과적으로 반영한 점근적 분포를 도출하였다.
• 실제 데이터에 대한 실험 결과는 GS 검정이 생성 모델과 관측된 점과정 데이터 사이의 의미 있는 차이를 탐지할 수 있음을 보여준다.
• GS 통계량의 자기정규화 기법은 안정성을 확보하고 알려지지 않은 분산 매개변수에 대한 의존성을 제거하여 실용적 사용성을 향상시킨다.
• 이론적 프레임워크는 진정한 기준이 관측되지 않는 상황에서 자기흥분 점과정의 생성 모델을 체계적으로 평가할 수 있는 방법을 제공한다.