[논문 리뷰] Simultaneous Inference for Pairwise Graphical Models with Generalized Score Matching

Ming Yu, Varun Gupta외 1명|arXiv (Cornell University)|2019. 05. 15.

Statistical Methods and Inference참고 문헌 100인용 수 16

한 줄 요약

이 논문은 정규화 상수가 계산이 불가능한 경우에도 유효한 신뢰구간과 가설검정을 가능하게 하는 이변량 그래프 모델에서의 동시 통계적 추론을 위한 일반화된 스코어 매칭 추정기법을 제안한다. 이 방법은 온건한 정규성 조건 하에서 √n-일致성과 점근 정규성을 확보하며, 기존에 가우시안 그래프 모델에 국한되어 있던 추론을 이징 및 잘라낸 가우시안 모델로 확장한다.

ABSTRACT

Probabilistic graphical models provide a flexible yet parsimonious framework for modeling dependencies among nodes in networks. There is a vast literature on parameter estimation and consistent model selection for graphical models. However, in many of the applications, scientists are also interested in quantifying the uncertainty associated with the estimated parameters and selected models, which current literature has not addressed thoroughly. In this paper, we propose a novel estimator for statistical inference on edge parameters in pairwise graphical models based on generalized Hyvärinen scoring rule. Hyvärinen scoring rule is especially useful in cases where the normalizing constant cannot be obtained efficiently in a closed form, which is a common problem for graphical models, including Ising models and truncated Gaussian graphical models. Our estimator allows us to perform statistical inference for general graphical models whereas the existing works mostly focus on statistical inference for Gaussian graphical models where finding normalizing constant is computationally tractable. Under mild conditions that are typically assumed in the literature for consistent estimation, we prove that our proposed estimator is $\sqrt{n}$-consistent and asymptotically normal, which allows us to construct confidence intervals and build hypothesis tests for edge parameters. Moreover, we show how our proposed method can be applied to test hypotheses that involve a large number of model parameters simultaneously. We illustrate validity of our estimator through extensive simulation studies on a diverse collection of data-generating processes.

연구 동기 및 목표

• 가우시안 가정을 초월한 고차원 그래프 모델에서 엄밀한 불확실성 측정의 부재를 해결하기 위해.
• 정규화 상수가 계산이 불가능한 이변량 그래프 모델의 간선 파라미터에 대한 통계적 추론 프레임워크를 개발하기 위해.
• 특히 초고차원 설정에서 모델 선택이 잘못되었을 경우에도 추론이 유효하게 유지되도록 하기 위해.
• 이전에 가우시안 그래프 모델에 국한되어 있던 기존 방법들을 일반화된 지수족 모델으로 확장하기 위해.
• 모델 선택 오류에 대해 강건하며, 일관된 유효한 신뢰구간과 가설검정을 제공하기 위해.

제안 방법

• 이 방법은 정규화 상수의 명시적 계산이 필요 없이 이변량 그래프 모델의 파라미터를 추정하기 위해 일반화된 하이바리넨 스코링 룰을 활용한다.
• 초기 일반화된 스코어 매칭 추정기의 기반으로 정규화된 선형 추정기를 구성함으로써 √n-일치성과 점근 정규성을 보장한다.
• 모델 선택 실수에 대한 강건성을 확보하고 일반적인 데이터 생성 분포 하에서도 유효성을 확보하기 위해 바하두르 유형의 표현식을 사용한다.
• 집중 불등식과 마틴갈 증명을 활용하여 이론적 보장을 도출하며, 고차원 점근 기준 하에서 추정 오차와 검정 통계량의 경계를 도출한다.
• 다중 간선 파라미터 간의 종속성을 고려하기 위해 승수 부트스트랩 절차를 통해 동시 추론을 가능하게 한다.
• 야성 부트스트랩 근사법을 사용하여, 전역 또는 이웃 기반 테스트와 같은 대규모 파라미터를 포함하는 가설 검정을 수행한다.

실험 결과

연구 질문

• RQ1 정규화 상수가 계산이 불가능한 경우, 예를 들어 이징 또는 잘라낸 가우시안 모델에서 이변량 그래프 모델의 간선 파라미터에 대해 유효한 통계적 추론을 수행할 수 있는가?
• RQ2 제안된 일반화된 스코어 매칭 추정기는 온건한 정규성 조건 하에서 √n-일치성과 점근 정규성을 확보하는가?
• RQ3 이 방법은 모델 선택이 잘못되었을 경우에도 일관된 유효한 신뢰구간과 가설검정을 제공할 수 있는가?
• RQ4 고차원 그래프 모델에서 대량의 간선 파라미터에 대해 동시 추론을 어떻게 수행할 수 있는가?
• RQ5 제안된 방법은 모델 선택 오류에 대해 강건하며, 비가우시안 그래프 모델에 적용 가능한가?

주요 결과

• 제안된 일반화된 스코어 매칭 추정기는 온건한 정규성 조건 하에서 √n-일치성과 점근 정규성을 확보하며, 간선 파라미터에 대한 유효한 추론을 가능하게 한다.
• 이 방법은 초고차원 설정에서 모델 선택 실수에 대해 강건하며, 일관된 유효한 신뢰구간과 가설검정을 달성한다.
• 이론적 분석을 통해 진정한 그래프가 완벽하게 복원되지 않더라도 추정기의 점근 정규성이 유지됨을 확인한다.
• 승수 부트스트랩 절차를 통한 동시 추론은 고차원 점근 기준 하에서 유효하며, 집중 불등식을 통해 수렴 속도가 확립된다.
• 시뮬레이션 연구를 통해 이론적 방법이 이징 및 잘라낸 가우시안 모델을 포함한 다양한 데이터 생성 과정에서 유효함을 입증한다.
• 대규모 파라미터를 포함하는 다중 검정 상황에서 이 방법은 가족별 오류율을 효과적으로 통제한다.