[논문 리뷰] Learning Gaussian Graphical Models by symmetric parallel regression technique

Daniela De Canditiis, Armando Guardasole|arXiv (Cornell University)|2019. 02. 08.

Metabolomics and Mass Spectrometry Studies참고 문헌 2인용 수 3

한 줄 요약

이 논문은 고차원 설정에서 희소 정밀행렬을 갖는 가우시안 그래픽 모델(GGMs)을 학습하기 위해 군집화된 라소 페널라이제이션 회귀를 활용하여 조건부 인적성 구조를 추정하는 대칭 병렬 회귀(SPR) 기법을 제안한다. SPR는 그래픽 라소와 표준 병렬 회귀에 비해 가장자리 복원 성능이 경쟁 가능하며, 특히 고차원 환경(n << p)에서 계산 시간을 크게 감소시킨다.

ABSTRACT

In this contribution we deal with the problem of learning an undirected graph which encodes the conditional dependence relationship between variables of a complex system, given a set of observations of this system. This is a very central problem of modern data analysis and it comes out every time we want to investigate a deeper relationship between random variables, which is different from the classical dependence usually measured by the covariance. In particular, in this contribution we deal with the case of Gaussian Graphical Models (GGMs) for which the system of variables has a multivariate gaussian distribution. We study all the existing techniques for such a problem and propose a smart implementation of the symmetric parallel regression technique which turns out to be very competitive for learning sparse GGMs under high dimensional data regime.

연구 동기 및 목표

• 표본 공분산 행렬이 특이행렬이 되는 고차원 다변량 정규분포 데이터에서 조건부 인적성 구조를 학습하는 데 도전하는 것.
• 기존의 그래픽 라소와 표준 병렬 회귀와 같은 전통적 방법들이 고차원 환경(n ≪ p)에서 가지는 한계를 극복하는 것.
• 가우시안 그래픽 모델에서 희소 정밀행렬 Θ = Σ⁻¹를 추정하기 위한 계산적으로 효율적이고 정확한 알고리즘을 개발하는 것.
• 대칭 병렬 회귀가 기존 방법들에 비해 뛰어난 성능을 보이며 계산 시간을 크게 줄일 수 있음을 입증하는 것.

제안 방법

• 조건부 인적성 관계를 이용하여 정밀행렬의 지지집합을 추정하는 것으로 GGM 학습 문제를 수립하는 것.
• 각 변수에 대해 나머지 변수들을 예측변수로 사용하여 p개의 별도의 군집화된 라소 페널라이제이션 회귀 문제를 푸는 방식으로 대칭 병렬 회귀(SPR)를 구현하는 것.
• 모든 회귀 단계에서의 회귀 계수를 평균내어 추정된 정밀행렬의 대칭성을 확보함으로써 진짜 정밀행렬의 구조와 일관성을 유지하는 것.
• 이론적으로 고차원 설정에서 최적으로 간주되는 고정된 정규화 파라미터 λ = log(p)/n를 사용하는 것.
• 유의미한 경우에만 간선 선택을 유도하는 바탕이 되는 희소성 유도를 위해 군집화된 라소 페널티를 적용하는 것.
• 모든 p개의 회귀에서 유도된 계수 행렬의 평균을 취하여 최종 정밀행렬을 추정함으로써 대칭성과 안정성을 확보하는 것.

실험 결과

연구 질문

• RQ1 고차원 GGM에서 대칭 병렬 회귀가 그래픽 라소와 표준 병렬 회귀에 비해 가장자리 복원 정확도 측면에서 어떻게 비교되는가?
• RQ2 대칭 병렬 회귀가 고차원 환경(n ≪ p)에서 뛰어난 성능을 보이며 계산 비용을 크게 줄일 수 있는가?
• RQ3 다양한 그래프 구조(예: 체인, 격자, 별형)에서 다양한 데이터 환경에서 SPR 방법의 탄력성은 어떠한가?
• RQ4 SPR에서의 대칭 평균화 단계가 비대칭 회귀 접근법에 비해 추정 안정성과 정확도를 향상시키는가?
• RQ5 λ = log(p)/n를 사용할 경우, 고차원 희소 GGM 학습에서 SPR의 성능에 어떤 영향을 미치는가?

주요 결과

• SPR는 그래픽 라소와 표준 병렬 회귀에 비해 경쟁 가능한 가장자리 복원 정확도를 확보하였으며, 테스트된 모든 그래프 유형에서 최고 성능을 보인 방법과 유사한 정확도를 기록하였다.
• 그래픽 라소는 반복 최적화 절차로 인해 계산이 매우 비용이 많이 들기 때문에, SPR는 그래픽 라소보다 훨씬 빠른 계산 런타임을 보였다.
• n ≈ p인 덜 심각한 경우와 n ≪ p인 심각한 고차원 환경 모두에서, SPR는 체인, 격자, 별형 등 다양한 그래프 구조에서 안정적인 성능을 유지하여 탄력성을 입증하였다.
• SPR의 대칭 평균화 단계는 비대칭 대안 대비 추정 일관성과 정밀행렬 추정의 안정성을 향상시키는 데 기여하였다.
• p = 32, n = 32 및 n = 16인 테스트 시나리오에서, SPR는 정확도는 비슷하게 유지하면서 표준 병렬 회귀에 비해 계산 효율성이 뛰어났다.
• SPR의 구현은 계산적으로 효율적이고 확장 가능하여 고차원 희소 GGM 학습 과제에서 그래픽 라소의 실질적인 대안이 될 수 있다.