[논문 리뷰] Inference of High-dimensional Autoregressive Generalized Linear Models

Eric C. Hall, Garvesh Raskutti외 1명|arXiv (Cornell University)|2016. 05. 09.

Statistical Methods and Inference참고 문헌 55인용 수 28

한 줄 요약

이 논문은 높은 차원의 자기회귀 일반선형모형(GLAR)에 대해 희소성 정규화를 적용한 최대우도 추정기의 제안을 통해, 포isson 및 베르누이 과정과 같은 비정규 분포 설정에서 통계적 추론을 가능하게 한다. 마팅게일 농도 부등식과 종속된 자료를 위한 경험과정 이론을 결합하여, 네트워크 구조 제약 조건 하에서 추정기 성능을 정량화하는 표본 복잡도 경계를 도출한다.

ABSTRACT

Vector autoregressive models characterize a variety of time series in which linear combinations of current and past observations can be used to accurately predict future observations. For instance, each element of an observation vector could correspond to a different node in a network, and the parameters of an autoregressive model would correspond to the impact of the network structure on the time series evolution. Often these models are used successfully in practice to learn the structure of social, epidemiological, financial, or biological neural networks. However, little is known about statistical guarantees on estimates of such models in non-Gaussian settings. This paper addresses the inference of the autoregressive parameters and associated network structure within a generalized linear model framework that includes Poisson and Bernoulli autoregressive processes. At the heart of this analysis is a sparsity-regularized maximum likelihood estimator. While sparsity-regularization is well-studied in the statistics and machine learning communities, those analysis methods cannot be applied to autoregressive generalized linear models because of the correlations and potential heteroscedasticity inherent in the observations. Sample complexity bounds are derived using a combination of martingale concentration inequalities and modern empirical process techniques for dependent random variables. These bounds, which are supported by several simulation studies, characterize the impact of various network parameters on estimator performance.

연구 동기 및 목표

• 신경 자극 기록 및 유행병 확산과 같은 비정규 분포, 고차원 설정에서 자기회귀 모형에 대한 통계적 보장이 부족한 문제를 해결하기 위해.
• 포아송 및 베르누이 과정을 포함한 벡터 일반선형 자기회귀(GLAR) 모형에서 추론을 위한 통합 프레임워크를 개발하기 위해.
• 희소성 및 종속성 제약 조건 하에서 고차원 자기회귀 모수 추정의 표본 복잡도 경계를 수립하기 위해.
• 시계열 자료에서 흔히 발생하는 종속적이고 이방산적인 관측치에서 실패하는 기존 방법의 한계를 극복하기 위해.
• 사회망, 신경과학 및 전염병학 등 응용 분야에서 비정규 분포 모형을 사용한 네트워크 구조 학습에 이론적 지원을 제공하기 위해.

제안 방법

• 고차원 GLAR 모형에서 자기회귀 모수를 추정하기 위해 희소성 정규화를 적용한 최대우도 추정기를 사용한다.
• 시계열 관측치의 시간적 종속성과 이방산성 처리를 위해 마팅게일 농도 부등식을 적용한다.
• 종속된 자료를 위한 경험과정을 대칭화하기 위해 순차적 라데마처 복잡도를 활용한다. 이는 함수 클래스에 대한 균일한 제어를 가능하게 한다.
• 종속된 랜덤 변수에 특화된 현대 경험과정 기법을 조합하여 유한 표본 경계를 도출한다.
• 네트워크 희소성, 신호 강도 및 모멘트 조건에 따라 의존하는 이론적 표본 복잡도 경계를 유도한다.
• 베르누이 및 포아송 자기회귀 모형에 대한 시뮬레이션 연구를 통해 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 고차원 비정규 시계열에서 자기회귀 모수를 신뢰성 있게 추정하기 위해 필요한 최소 표본 크기는 얼마인가?
• RQ2 네트워크의 희소성과 종속성 구조는 GLAR 모형 추정기의 통계적 성능에 어떤 영향을 미치는가?
• RQ3 종속적이고 비정규 분포 시계열에서 희소성 정규화 추정기에 대해 이론적 보장을 수립할 수 있는가?
• RQ4 링크 함수의 선택(예: 포아송 모형의 로그선형 함수)은 모형 타당성과 추정 정확도 확보에 어떤 역할을 하는가?
• RQ5 마팅게일 기반 농도 부등식은 시계열 모형에서 i.i.d. 가정에 비해 어떤 방식으로 유한 표본 분석을 향상시키는가?

주요 결과

• 저자는 자기회귀 구조의 희소성과 네트워크의 최대 차수에 따라 척도가 조정되는 고차원 GLAR 모형의 표본 복잡도 경계를 도출한다.
• 경계는 진짜 모형이 충분히 희소할 경우 관측 수가 변수 수를 초과하더라도 일관된 추정이 가능함을 보여준다.
• 분석은 희소성 정규화 최대우도 추정기가 온건한 모멘트 조건과 종속성 조건 하에서 최적의 수렴 속도를 달성함을 입증한다.
• 이론적 결과는 베르누이 및 포아송 자기회귀 모형에서 네트워크 구조의 정확한 복원을 보여주는 시뮬레이션 연구를 통해 지지된다.
• 마팅게일 농도 부등식과 순차적 라데마처 복잡도의 활용은 종속적이고 i.i.d.가 아닌 설정에서 추정 오차에 대한 비점근적 제어를 가능하게 한다.
• 이 프레임워크는 신경 자극 기록 분석 및 유행병 확산 모델링과 같은 응용 분야에서 네트워크 구조 학습에 엄밀한 기초를 제공한다.