[논문 리뷰] Two-sample inference for high-dimensional Markov networks

Byol Kim, Song Liu외 1명|Explore Bristol Research|2019. 05. 01.

Statistical Methods and Inference참고 문헌 68인용 수 8

한 줄 요약

이 논문은 고차원 마르코프 네트워크에서 두 샘플 추론을 위한 새로운 방법을 제안한다. 밀도 비율 접근법을 사용하여 개별 네트워크 추정을 피함으로써 두 네트워크 간의 차이를 직접 추정한다. 유한 샘플에서의 가우시안 근사 오차 범위와 부트스트랩 기반 추론 절차를 제공하여, 개별 네트워크가 조밀할 수 있지만 그 차이가 희박한 경우에도, 완벽한 모델 선택이 필요하지 않은 약한 가정 하에 네트워크 동일성 검정이나 신뢰구간을 구성할 수 있다.

ABSTRACT

Markov networks are frequently used in sciences to represent conditional independence relationships underlying observed variables arising from a complex system. It is often of interest to understand how an underlying network differs between two conditions. In this paper, we develop methods for comparing a pair of high-dimensional Markov networks where we allow the number of observed variables to increase with the sample sizes. By taking the density ratio approach, we are able to learn the network difference directly and avoid estimating the individual graphs. Our methods are thus applicable even when the individual networks are dense as long as their difference is sparse. We prove finite-sample Gaussian approximation error bounds for the estimator we construct under significantly weaker assumptions than are typically required for model selection consistency. Furthermore, we propose bootstrap procedures for estimating quantiles of a max-type statistics based on our estimator, and show how they can be used to test the equality of two Markov networks or construct simultaneous confidence intervals. The performance of our methods is demonstrated through extensive simulations. The scientific usefulness is illustrated with an analysis of a new fMRI dataset.

연구 동기 및 목표

• 고차원 마르코프 네트워크에서 차이 네트워크에 대한 통계적 추론을 위한 통합 프레임워크를 개발함으로써, 가우시안 또는 특정한 비모수적 모형을 가정하지 않는다.
• 기존 방법이 개별 네트워크의 희박성을 요구하는 한계를 해결하기 위해, 오직 네트워크 차이만 희박한 경우에도 추론이 가능하도록 한다.
• 네트워크 차이에 대한 타당한 불확실성 측정(신뢰구간 및 가설 검정)을 제공함으로써, 고차원 차이 네트워크 추정에서 자주 간과되는 문제를 해결한다.
• 모델 선택 일致성 조건보다 더 약한 조건 하에서, 추정기의 유한 샘플 가우시안 근사 오차 범위를 수립함으로써, 비일관성 및 강한 신호 강도 조건을 피한다.

제안 방법

• 밀도 비율 접근법을 사용하여 두 고차원 마르코프 네트워크 간의 차이를 직접 추정함으로써, 각 네트워크를 별도로 추정할 필요를 회피한다.
• 두 조건 간의 확률 밀도 비율을 모델링하기 위해 Kullback-Leibler 중요도 추정 절차(KLIEP)를 적용한다.
• 정규화된 손실 함수를 사용하여 진짜 밀도 비율과 추정된 밀도 비율 간의 KL 발산을 최소화함으로써, 차이 네트워크의 정규화된 추정기를 구성한다.
• 최대형 통계량의 분위수를 추정하기 위해 부트스트랩 절차를 사용하여, 타당한 가설 검정과 동시에 신뢰구간을 가능하게 한다.
• 완벽한 모델 선택이 필요하지 않으며 강한 신호 강도 조건도 필요 없이, 약한 규칙성 조건 하에서 추정기의 유한 샘플 가우시안 근사 오차 범위를 유도한다.
• 추정 과정에서 자동 스케일링 표현과 보편적 펜alties 수준을 사용하여 강건성과 실용적 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 개별 네트워크가 희박하지 않아도, 두 고차원 마르코프 네트워크 간의 차이에 대해 타당한 통계적 추론을 수행할 수 있는가?
• RQ2 약한 가정 하에서, 네트워크 차이에 대한 동시에 신뢰구간을 구성하고 가설 검정을 수행할 수 있는가?
• RQ3 밀도 비율 추정에 기반한 직접적 차이 네트워크 추정기의 유한 샘플 오차 범위는 무엇인가?
• RQ4 부트스트랩 절차는 고차원 차이 네트워크 추론에서 최대형 통계량의 임계값을 신뢰성 있게 추정할 수 있는가?
• RQ5 개별 네트워크가 조밀하더라도 그 차이가 희박한 경우, 제안된 방법은 타당성과 검정력을 유지하는가?

주요 결과

• 제안된 방법은 개별 네트워크가 조밀하더라도 그 차이가 희박한 경우에 타당한 추론을 달성하며, 이는 두 네트워크 모두 희박해야 하는 기존 방법에 비해 중대한 개선이다.
• 모델 선택 일치성 조건이 필요한 경우보다 더 약한 조건 하에서, 유한 샘플 가우시안 근사 오차 범위가 확립되었으며, 비일관성 및 강한 신호 강도 조건을 피할 수 있다.
• 최대형 통계량에 대한 부트스트랩 절차는 동시에 신뢰구간 구성과 네트워크 동일성 검정에 대해 타당하고 효과적인 것으로 입증되었다.
• 시뮬레이션 결과에서, 방법은 적절한 제1종 오류 통제를 유지하며, 특히 네트워크 차이가 희박할 경우 양호한 검정력을 확보하였다.
• fMRI 응용 사례에서, 방법은 과제 관련 뇌 네트워크 변화를 성공적으로 탐지하였으며, 알려진 신경생물학적 기대와 일치하였다.
• 미국 상원 투표 데이터 분석에서, 의석 이관 이후 뉴저지 상원의원들의 투표 행동에 유의미한 변화가 없음을 발견하여, 기대와 이전 지식과 일치하였다.