[논문 리뷰] Structure Learning of Gaussian Markov Random Fields with False Discovery Rate Control

Sangkyun Lee, Piotr Sobczyk외 1명|arXiv (Cornell University)|2019. 10. 24.

Bayesian Modeling and Causal Inference참고 문헌 34인용 수 3

한 줄 요약

이 논문은 높은 차원에서의 간선 탐지에서 잘못된 발견률(FDR)을 제어하기 위해 정렬된 L1-노름(SL1) 정규화를 사용하는 새로운 방법인 nsSLOPE를 제안한다. 이는 SLOPE를 이웃 선택에 적응시켜 진정한 조건부 의존성의 식별 능력을 높이며, 원하는 수준에서 엄격하게 FDR를 제어한다. 이는 고차원 설정(p ≫ n)에서 기존의 gLASSO보다 FDR 제어와 탐지 능력 면에서 뛰어나다.

ABSTRACT

In this paper, we propose a new estimation procedure for discovering the structure of Gaussian Markov random fields (MRFs) with false discovery rate (FDR) control, making use of the sorted l1-norm (SL1) regularization. A Gaussian MRF is an acyclic graph representing a multivariate Gaussian distribution, where nodes are random variables and edges represent the conditional dependence between the connected nodes. Since it is possible to learn the edge structure of Gaussian MRFs directly from data, Gaussian MRFs provide an excellent way to understand complex data by revealing the dependence structure among many inputs features, such as genes, sensors, users, documents, etc. In learning the graphical structure of Gaussian MRFs, it is desired to discover the actual edges of the underlying but unknown probabilistic graphical model-it becomes more complicated when the number of random variables (features) p increases, compared to the number of data points n. In particular, when p >> n, it is statistically unavoidable for any estimation procedure to include false edges. Therefore, there have been many trials to reduce the false detection of edges, in particular, using different types of regularization on the learning parameters. Our method makes use of the SL1 regularization, introduced recently for model selection in linear regression. We focus on the benefit of SL1 regularization that it can be used to control the FDR of detecting important random variables. Adapting SL1 for probabilistic graphical models, we show that SL1 can be used for the structure learning of Gaussian MRFs using our suggested procedure nsSLOPE (neighborhood selection Sorted L-One Penalized Estimation), controlling the FDR of detecting edges.

연구 동기 및 목표

• 고차원에서 p ≫ n 인 경우 간선 탐지에서 잘못된 양성 결과의 문제를 다루기 위해.
• 가족-wise 오류율(FWER)보다 더 보수적이지 않은 잘못된 발견률(FDR)을 제어하는 구조 학습 방법을 개발하기 위해.
• 재귀적 회귀에서 유래한 정렬된 L1-노름(SL1) 정규화를 GMRF에 적응시켜 모델 선택 성능을 향상시키기 위해.
• 통계적으로 타당한 방법으로 FDR를 제어하고 탐지 능력을 향상시킨 희박한 정밀행렬을 추정하기 위해.

제안 방법

• SL1 정규화를 사용하여 GMRF에서의 구조 학습을 위한 nsSLOPE(이웃 선택 정렬 L1-패널티 추정)를 제안한다.
• 원래 선형 회귀에 사용되던 SLOPE 절차를 이웃 회귀 문제에 적용하기 위해 정렬된 L1 페널티를 적용한다.
• 목표 FDR 수준 q = 0.05에 기반하여 tuning 파라미터 λi를 설정하기 위해 Benjamini-Hochberg 절차를 사용한다.
• 각 노드별로 일련의 볼록 최적화 문제를 해결하며, 음의 로그우도에 SL1 페널티를 적용한다: min_β (1/2)‖y - Xβ‖² + ∑λi|β|(i).
• 최종 정밀행렬 추정치의 대칭성을 확보하기 위해 대칭화를 적용한다.
• 대각성분 추정을 향상시키기 위해 역스케일링 보정을 활용하지만, 이는 향후 개선이 필요한 분야로 남아 있다.

실험 결과

연구 질문

• RQ1 SL1 정규화는 고차원 정규 마르코프 무작위 필드(GMRF)에서의 구조 학습에 효과적으로 적응될 수 있는가?
• RQ2 고차원 설정에서 기존의 gLASSO에 비해 nsSLOPE가 더 나은 FDR 제어와 더 높은 탐지 능력을 달성하는가?
• RQ3 SLOPE를 통한 FDR 제어는 FWER 제어에 비해 통계적 능력과 잘못된 발견률 정확도 측면에서 어떻게 비교되는가?
• RQ4 대칭화와 대각성분 보정은 최종 정밀행렬 추정에 어떤 영향을 미치는가?
• RQ5 진정한 조건부 의존성 구조의 복원 능력을 향상시키는 동안 FDR 제어를 유지할 수 있는가?

주요 결과

• 모든 설정에서 실측 FDR이 명목상 수준 0.05 근처에서 일관되게 제어되었으며, gLASSO에 비해 nsSLOPE가 엄격한 제어를 유지했다.
• 특히 고차원 영역에서 gLASSO보다 유의미하게 높은 통계적 능력(진짜로 비영인 항목의 탐지 비율)을 달성했다.
• 블록-대각행렬 및 허브-구조 공분산 설정에서, nsSLOPE는 gLASSO보다 더 적은 잘못된 양성 결과를 기록하며 진짜 기반 그래프 구조를 성공적으로 복원했다.
• 표본 크기(n = 100에서 400)가 다양하더라도 p = 500로 고정된 조건에서 안정적인 FDR과 이 diagonal 항목의 평균제곱오차(MSE) 향상을 보였다.
• 최종 추정치의 대칭화로 대칭성이 향상되었지만 FDR이나 탐지 능력에 큰 영향을 주지 않아, nsSLOPE는 중간 단계의 비대칭성에 대해 강건함을 시사한다.
• 대각성분 추정은 향후 개선 여지가 있으며, 특히 SLOPE 절차에서의 정규화 효과를 보정하기 위해 더 정확한 역스케일링 보정이 필요하다.