[논문 리뷰] The Graphical Horseshoe Estimator for Inverse Covariance Matrices

Yunfan Li, Bruce Α. Craig외 1명|arXiv (Cornell University)|2017. 07. 20.

Statistical Methods and Inference참고 문헌 44인용 수 10

한 줄 요약

이 논문은 허시우(heavy-tailed) 사전을 사용하여 높은 차원의 역공분산행렬 추정을 위한 베이지안 방법인 그래픽 허시우 추정기(graphical horseshoe estimator)를 제안한다. 이는 극도로 높은 농도를 지닌 0 근처의 사전을 사용하여, Kullback–Leibler 발산을 최소화하고 비제로 원소의 편향을 줄이는 데 있어 그래픽 라소(graphical lasso)와 그래픽 SCAD보다 뛰어난 성능을 보이며, 특히 희박한 정밀행렬에서 유의미한 성능 향상을 보인다. 효율적인 계산을 위해 전체 게비스 샘플러를 구현하였고, MATLAB 코드도 제공된다.

ABSTRACT

<b>We develop a new estimator of the inverse covariance matrix for high-dimensional multivariate normal data using the horseshoe prior. The proposed graphical horseshoe estimator has attractive properties compared to other popular estimators, such as the graphical lasso and the graphical smoothly clipped absolute deviation. The most prominent benefit is that when the true inverse covariance matrix is sparse, the graphical horseshoe provides estimates with small information divergence from the sampling model. The posterior mean under the graphical horseshoe prior can also be almost unbiased under certain conditions. In addition to these theoretical results, we also provide a full Gibbs sampler for implementing our estimator. MATLAB code is available for download from github at</b>http://github.com/liyf1988/GHS<b>. The graphical horseshoe estimator compares favorably to existing techniques in simulations and in a human gene network data analysis. Supplementary materials for this article are available online.</b>

연구 동기 및 목표

• 임의의 희박성 패턴에 잘 적응하는 고차원 역공분산행렬을 위한 베이지안 추정기를 개발하는 것.
• 허시우 사전의 무거운 尾와 0 근처의 극도로 높은 집중성 특성을 활용하여 추정 정확도를 향상시키는 것.
• 후행 분포 추론을 위한 전체 게비스 샘플러를 통한 계산 효율성 향상 제공.
• 기존 방법들과의 이론적·실증적 비교를 통해 그래픽 허시우 추정기의 성능을 평가하는 것.
• 실제 인간 유전자 발현 데이터에 적용하여 희박한 유전자 상호작용 네트워크를 식별하는 데의 성능 평가

제안 방법

• 그래픽 허시우 추정기는 전역 수축 매개변수와 국소 수축 매개변수를 갖는 계층적 수축 사전을 사용하며, 국소 수축 매개변수는 반카우 분포에서 추출된다.
• 추정 대상인 정밀행렬(역공분산행렬)을 가진 다변량 정규분포 우도를 가정한다.
• 이 사전은 작은 원소들을 0으로 수축시키면서도 큰 원소들은 상대적으로 영향을 덜 받도록 하여 희박성을 유도한다.
• 정밀행렬과 하이퍼파rameter의 공동 후행 분포에서 효율적으로 샘플링하기 위해 전체 게비스 샘플러를 개발하였다.
• 모델의 계층적 구조에서 평균에 비정보적 사전을 사용하고, 공분산행렬에는 공액의 역와이스만트 사전을 사용한다.
• 후행 추론은 정밀행렬의 후행 평균을 기반으로 하며, 특정 조건 하에서는 거의 편향이 없는 것으로 밝혀졌다.

실험 결과

연구 질문

• RQ1 진정한 정밀행렬이 희박할 때, 고차원적 희박성 하에서 그래픽 허시우 추정기와 그래픽 라소, 그래픽 SCAD 간의 Kullback–Leibler 발산에서의 성능 비교는 어떻게 되는가?
• RQ2 그래픽 허시우 사전 하에서 후행 평균의 이론적 성질은 무엇이며, 특히 편향과 수렴성 측면에서 어떻게 되는가?
• RQ3 고차원 환경에서 경쟁 방법들보다 그래픽 허시우 추정기가 더 높은 변수 선택 정확도와 희박성 회복 능력을 가지는가?
• RQ4 표본 크기 대 특징 차원 비율이 그래픽 허시우 추정기의 성능에 미치는 영향은 어떠한가?
• RQ5 실제 생물학적 데이터, 예를 들어 인간 유전자 발현 네트워크에서 그래픽 허시우 추정기의 실증적 성능은 어떠한가?

주요 결과

• 진정한 정밀행렬이 희박할 경우, 그래픽 허시우 추정기는 그래픽 라소 및 그래픽 SCAD보다 진짜 샘플링 모델과의 Kullback–Leibler 발산이 유의미하게 작다.
• 일부 규칙성 조건 하에서 그래픽 허시우 사전 하의 후행 평균은 비제로 원소에 대해 거의 편향이 없다.
• 시뮬레이션 결과, 특히 작은 표본 크기와 고차원 환경에서 그래픽 허시우 추정기는 진짜 희박한 구조를 추정하는 데 그래픽 라소 및 그래픽 SCAD를 능가한다.
• 인간 유전자 발현 데이터셋에서 그래픽 허시우 추정기는 83개 정점과 109개 간선을 가진 희박한 네트워크를 추정하였고, 그래픽 라소와 베이지안 그래픽 라소는 각각 1135개 및 976개 간선을 가진 더 높은 밀도의 그래프를 생성하였다.
• 그래픽 SCAD는 대각선 외 원소들을 모두 0으로 추정하지 않아, 4950개 간선을 가진 완전히 연결된 그래프를 생성하여 희박성 유도 능력이 떨어지는 것으로 나타났다.
• 그래픽 허시우 네트워크는 다른 방법들보다 더 해석 가능하고, 더 희박한 클러스터들로 분리된 구조를 보였다.