[논문 리뷰] Sure Screening for Gaussian Graphical Models

Shikai Luo, Rui Song외 1명|arXiv (Cornell University)|2014. 07. 29.

Statistical Methods and Inference참고 문헌 26인용 수 17

한 줄 요약

이 논문은 고차원 설정에서 가우시안 그래픽 모델을 추정하기 위한 계산적으로 효율적인 방법인 GRASS(GRAPHICAL Sure Screening)를 소개한다. 이 방법은 공분산 행렬의 표본 상관계수를 임계값 처리함으로써 작동하며, 모든 진짜 간선이 포함됨을 보장하는 확실한 걸러내기 성질(sure screening property)을 확립하고, 데이터 기반의 임계값을 통해 기대된 거짓 긍정 비율(false positive rate)을 제어할 수 있다.

ABSTRACT

We propose {graphical sure screening}, or GRASS, a very simple and computationally-efficient screening procedure for recovering the structure of a Gaussian graphical model in the high-dimensional setting. The GRASS estimate of the conditional dependence graph is obtained by thresholding the elements of the sample covariance matrix. The proposed approach possesses the sure screening property: with very high probability, the GRASS estimated edge set contains the true edge set. Furthermore, with high probability, the size of the estimated edge set is controlled. We provide a choice of threshold for GRASS that can control the expected false positive rate. We illustrate the performance of GRASS in a simulation study and on a gene expression data set, and show that in practice it performs quite competitively with more complex and computationally-demanding techniques for graph estimation.

연구 동기 및 목표

• p가 수천에서 수만 수준일 때 기존의 희소 정밀행렬 추정 방법의 계산 비용이 과도하게 높아지는 문제를 해결한다.
• 고차원 그래픽 모델링에서 계산 시간을 극적으로 줄이면서도 통계적 신뢰성을 유지하는 걸러내기 절차를 개발한다.
• p가 표본 크기 n과 함께 지수적으로 증가하는 고차원 점근적 조건에서 간선 복원에 대한 이론적 보장을 제공한다.
• 근거 있는 임계값 선택을 통해 간선 선택 시 기대된 거짓 긍정 비율을 제어할 수 있도록 한다.
• 단순한 근접 걸러내기와 복잡한 정밀행렬 추정 간 격차를 메우기 위해 확실한 걸러내기를 비지도 그래픽 모델에 적용한다.

제안 방법

• GRASS는 표본 공분산 행렬의 비대각성 항목을 임계값 처리함으로써 조건부 의존성 그래프를 추정한다.
• 방법은 표본 상관계수의 크기 기반으로 간선를 선택한다: |X_a^T X_b / n| > γ_n, 여기서 γ_n은 데이터 기반의 임계값이다.
• 임계값 γ_n은 기대된 거짓 긍정 비율을 f/[p(p-1)] 수준으로 제어하기 위해 Φ⁻¹(1 - f/(p(p-1)))/√n로 설정된다.
• 이론적 분석 결과, 미약한 가정 하에 추정된 간선 집합이 고확률로 진짜 간선 집합을 포함함을 보여준다.
• 정밀행렬의 열이 회귀 계수에 해당함을 활용하여, 근접 상관계수 기반의 걸러내기 전략을 구현한다.
• 이 방법은 기존의 그래픽 라소와 같은 방법과 대비해 O(p²)의 계산 복잡도를 달성한다.

실험 결과

연구 질문

• RQ1 간단하고 계산적으로 효율적인 걸러내기 절차는 고차원 설정에서 가우시안 그래픽 모델의 진짜 조건부 의존성 구조를 복원할 수 있는가?
• RQ2 공분산 행렬의 표본 상관계수를 임계값 처리하는 방법은 확실한 걸러내기 성질을 갖는가? 즉, 고확률로 모든 진짜 간선을 포함하는가?
• RQ3 기본 데이터 기반의 임계값 처리 규칙을 통해 간선 선택 시 기대된 거짓 긍정 비율을 제어할 수 있는가?
• RQ4 고차원 환경에서 그래픽 라소와 같은 더 복잡하고 계산 비용이 큰 방법과 비교해 GRASS의 성능은 어떠한가?
• RQ5 GRASS와 기존의 ℓ₁-벌점화된 우도 추정과 같은 희소 정밀행렬 추정 기법 간 이론적 관계는 무엇인가?

주요 결과

• GRASS는 확실한 걸러내기 성질을 달성한다: p가 n과 함께 지수적으로 증가하더라도, 추정된 간선 집합이 고확률로 진짜 간선 집합을 포함한다.
• 임계값 γ_n = Φ⁻¹(1 - f/(p(p-1)))/√n로 설정함으로써, 기대된 거짓 긍정 비율을 f/[p(p-1)] 수준으로 제어할 수 있다.
• GRASS의 계산 비용은 O(p²)이므로, 변수 수 p = 25,000 이상의 문제에 대해서도 확장 가능하다.
• 시뮬레이션과 유전자 발현 데이터셋에서, GRASS는 그래픽 라소와 같은 더 복잡한 방법들과 경쟁 가능한 성능을 보였다.
• 이론적 분석을 통해 GRASS와 ℓ₁-벌점화된 우도 추정 간 놀라운 유사성이 드러났다.
• 이 방법은 확실한 걸러내기를 비지도 그래픽 모델링에 적용한 최초의 사례로, 기존의 회귀 설정을 넘어서 프레임워크를 확장한다.