[논문 리뷰] Constrained High Dimensional Statistical Inference

Ming Yu, Varun Gupta외 1명|arXiv (Cornell University)|2019. 11. 17.

Gaussian Processes and Bayesian Inference참고 문헌 42인용 수 9

한 줄 요약

이 논문은 고차원 모델에서 저차원 파라미터에 대한 코너 제약 조건을 고려하기 위해 Wald, 스코어, 최대우도비 검정을 수정하는 제약 조건이 있는 고차원 추론 프레임워크를 제안한다. 비음성 또는 단조성과 같은 파라미터 공간의 제약 조건을 통합함으로써, 유의수준 제어가 보장되고 비제약 방법보다 유의미하게 높은 통계적 검정력을 확보할 수 있으며, 실제 유전체 및 네트워크 확산 데이터셋을 통해 검증되었다.

ABSTRACT

In typical high dimensional statistical inference problems, confidence intervals and hypothesis tests are performed for a low dimensional subset of model parameters under the assumption that the parameters of interest are unconstrained. However, in many problems, there are natural constraints on model parameters and one is interested in whether the parameters are on the boundary of the constraint or not. e.g. non-negativity constraints for transmission rates in network diffusion. In this paper, we provide algorithms to solve this problem of hypothesis testing in high-dimensional statistical models under constrained parameter space. We show that following our testing procedure we are able to get asymptotic designed Type I error under the null. Numerical experiments demonstrate that our algorithm has greater power than the standard algorithms where the constraints are ignored. We demonstrate the effectiveness of our algorithms on two real datasets where we have {\emph{intrinsic}} constraint on the parameters.

연구 동기 및 목표

• 고차원 설정에서 모형 파라미터에 대한 자연스러운 제약 조건을 고려하는 통계적 추론 방법의 부족을 해결하기 위해.
• 비음성 또는 단조성과 같은 코너 제약 조건 하에서 점점 증가하는 제약 조건을 유지하는 가설 검정 절차를 개발하기 위해.
• 파라미터 경계에 대한 사전 지식을 활용하여 제약 없는 방법보다 통계적 검정력을 향상시키기 위해.
• 비음성 전파율을 갖는 네트워크 확산 모델에서 개별 간선의 유의성 검정을 가능하게 하기 위해.
• 사회 네트워크나 유전 연구와 같이 파라미터가 본질적으로 제약 조건이 있는 실제 문제에 적용 가능한 프레임워크를 제공하기 위해.

제안 방법

• 저차원 파라미터 $ \bm{\alpha} $ 에 대한 닫힌 볼록 코너 제약 조건 $ C $ 를 고려하는 수정된 Wald, 스코어, 최대우도비 검정 통계량을 제안한다.
• 귀무가설 $ H_0: \bm{\alpha} \in M $ 을 정의하며, 여기서 $ M $ 은 $ C $ 의 경계에 위치한 선형 부분공간이고, 대립가설 $ H_A: \bm{\alpha} \in C \setminus M $ 이다.
• 귀무가설 하에서 검정 통계량의 점점 증가하는 분포를 유도하여, 제약 조건이 있는 추정 및 스코어 조건을 통해 점점 증가하는 제1종 오류 제어를 보장한다.
• 고차원 부수적 파라미터 $ \bm{\theta} $ 에 대해 LASSO 기반의 페널티 추정을 적용한 후, $ \bm{\alpha} $ 에 대한 추론을 가능하게 하기 위해 보정을 수행한다.
• 제약 조건이 있는 검정에서 유도된 p-값을 사용하여, 네트워크 확산 모델의 간선 가중치와 같은 개별 파라미터의 유의성 평가를 수행한다.
• 가족 전체 오류율을 제어하기 위해 다중 검정 보정(예: 홀름-본제라니)을 동시에 여러 간선을 검정할 경우 적용한다.

실험 결과

연구 질문

• RQ1 고차원 모델에서 파라미터가 코너로 제약될 경우, 가설 검정이 점점 증가하는 제1종 오류 제어를 유지할 수 있는가?
• RQ2 기존의 파라미터 제약 조건(예: 비음성)을 통합할 경우, 제약 없는 추론에 비해 통계적 검정력이 향상되는가?
• RQ3 고차원 모델에서 저차원 파라미터가 볼록 코너 제약 조건의 경계에 위치해 있는지 어떻게 검정할 수 있는가?
• RQ4 제안된 방법은 비음성 전파율을 갖는 네트워크 확산 모델에서 유의미한 간선을 효과적으로 식별할 수 있는가?
• RQ5 제약 조건이 무시될 경우, 제약 조건이 있는 검정 방법의 성능은 표준 방법과 비교하여 어떻게 되는가?

주요 결과

• 제안된 제약 조건이 있는 검정 절차는 부수적 파라미터가 존재하는 고차원 설정에서도 귀무가설 하에서 점점 증가하는 제1종 오류 제어를 달성한다.
• 수치 실험 결과, 제약 조건이 존재할 경우 제약 없는 방법보다 유의미하게 높은 통계적 검정력을 확보함을 보여준다.
• Memetracker 데이터셋에서, 세 가지 제약 조건이 있는 검정 모두 시간에 따라 변하는 변동성 효과 존재 여부 검정에 대해 p-값 0.41을 도출하여 귀무가설을 기각하지 못함—기존 연구 결과와 일치함.
• 네트워크 확산 모델링에서 제약 조건이 있는 방법을 적용함으로써, 밀도 높은 추정 네트워크(그림 3)가 p-값 ≤ 0.05를 만족하는 간선들만 유지되어 더 희박하고 해석 가능한 구조(그림 4)로 단순화됨.
• 제약 조건이 있는 검정을 통해 도출된 네트워크 구조는 단지 L1 페널티의 크기만을 기반으로 한 희박화보다 더 신뢰할 수 있으며, 통계적 유의성까지 반영하기 때문이다.
• 이 방법은 네트워크 모델에서 개별 간선의 유의성 검정을 가능하게 하여 히ュ리스틱한 희박화 방법에 대한 원칙적인 대안을 제공한다.