[논문 리뷰] A Fast and Scalable Joint Estimator for Learning Multiple Related Sparse Gaussian Graphical Models

Beilun Wang, Ji Gao외 1명|arXiv (Cornell University)|2017. 02. 09.

Gaussian Processes and Bayesian Inference참고 문헌 12인용 수 6

한 줄 요약

이 논문은 기본 추정기(EE) 프레임워크를 활용하여 다수의 관련 희박 가우시안 그래픽 모델(sGGMs)을 빠르고 확장 가능하게 동시 추정하는 FASJEM을 제안한다. 프락시멀 알고리즘을 통한 요소별 및 그룹-요소별 최적화를 통해 O(Kp²)의 시간 복잡도와 O(K)의 메모리 사용량을 달성하며, 기존 방법에 비해 계산 효율성과 확장성에서 뛰어나며, 이론적으로 O(log(Kp)/ntot)의 수렴 속도를 확보한다.

ABSTRACT

Estimating multiple sparse Gaussian Graphical Models (sGGMs) jointly for many related tasks (large $K$) under a high-dimensional (large $p$) situation is an important task. Most previous studies for the joint estimation of multiple sGGMs rely on penalized log-likelihood estimators that involve expensive and difficult non-smooth optimizations. We propose a novel approach, FASJEM for \underline{fa}st and \underline{s}calable \underline{j}oint structure-\underline{e}stimation of \underline{m}ultiple sGGMs at a large scale. As the first study of joint sGGM using the Elementary Estimator framework, our work has three major contributions: (1) We solve FASJEM through an entry-wise manner which is parallelizable. (2) We choose a proximal algorithm to optimize FASJEM. This improves the computational efficiency from $O(Kp^3)$ to $O(Kp^2)$ and reduces the memory requirement from $O(Kp^2)$ to $O(K)$. (3) We theoretically prove that FASJEM achieves a consistent estimation with a convergence rate of $O(\log(Kp)/n_{tot})$. On several synthetic and four real-world datasets, FASJEM shows significant improvements over baselines on accuracy, computational complexity, and memory costs.

연구 동기 및 목표

• 다수의 관련 작업에서 고차원 sGGM의 동시 추정에 있어 계산 및 메모리 병목 현상을 해결하기 위해.
• 작업 수 K와 차원 수 p가 모두 클 경우에도 확장 가능하고 효율적인 다수의 관련 sGGM 학습 방법을 개발하기 위해.
• 기존의 정규화된 우도 방법에 비해 시간 복잡도를 O(Kp³)에서 O(Kp²)로, 메모리 사용량을 O(Kp²)에서 O(K)로 감소시키기 위해.
• O(log(Kp)/ntot)의 수렴 속도를 확보하는 이론적 일致성 확립을 통해 단일 작업 학습 대비 동시 추정의 이점을 입증하기 위해.
• 합성 및 실제 생물의학 데이터셋에서의 평가를 통해 정확도, 속도, 메모리 효율성 면에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 다수의 sGGM을 위한 기본 추정기(EE) 프레임워크에 기반한 새로운 동시 추정기인 FASJEM을 제안한다.
• FASJEM을 요소별 및 그룹-요소별 프락시멀 알고리즘을 통해 최적화하여 병렬 처리를 가능하게 하고 시간 복잡도를 O(Kp²)로 감소시킨다.
• 두 가지 변형을 도입한다: 그룹-2 노름을 사용하는 FASJEM-G와 그룹-무한대 노름을 사용하는 FASJEM-I로, 작업 간 네트워크 유사성을 강제한다.
• 비용이 많이 드는 SVD 및 행렬 곱셈 연산을 피하는 프락시멀 알고리즘을 활용하여 메모리 사용량을 O(K)로 감소시킨다.
• 이론적 분석을 통해 FASJEM이 O(log(Kp)/ntot)의 수렴 속도를 확보함을 증명하며, 단일 작업 sGGM의 속도인 O(log p / n)보다 빠르다.
• 유사도 상수 프레임워크를 활용한 소프트 임계값 추정기로 추정 오차를 경계하고 일치성을 보장한다.

실험 결과

연구 질문

• RQ1 큰 K(작업 수)와 큰 p(차원 수)에 대해 효율적으로 확장 가능한 동시 sGGM 추정기를 설계할 수 있는가?
• RQ2 기존의 O(Kp³)이던 동시 sGGM 추정의 계산 복잡도를 정확도를 희생시키지 않고 O(Kp²)로 감소시킬 수 있는가?
• RQ3 메인 메모리에 공분산 행렬을 전체로 저장하지 않음으로써 메모리 사용량을 O(Kp²)에서 O(K)로 감소시킬 수 있는가?
• RQ4 제안된 FASJEM 방법은 기존의 동시 추정기보다 더 빠른 수렴 속도와 더 나은 추정 일치성을 달성하는가?
• RQ5 실제 고차원 생물의학 데이터셋에서 FASJEM은 정확도와 계산 효율성 면에서 기준 모델을 모두 능가하는가?

주요 결과

• FASJEM은 시간 복잡도를 O(Kp³)에서 O(Kp²)로, 메모리 사용량을 O(Kp²)에서 O(K)로 감소시켜 대규모 동시 추정을 가능하게 한다.
• 이론적으로 O(log(Kp)/ntot)의 수렴 속도를 확보하며, 이는 단일 작업 sGGM의 속도인 O(log p / n)보다 빠르며, 동시 학습의 이점을 입증한다.
• ENCODE에서 K=147개의 세포 유형을 포함한 네 개인공 생물의학 데이터셋에서 FASJEM은 기준 모델보다 추정 정확도에서 뛰어난 성능을 보였다.
• FASJEM-G와 FASJEM-I는 각각의 JGL 기준 모델보다 뛰어난 성능을 보였으며, FASJEM-I가 전체적으로 가장 높은 정확도를 달성했다.
• 합성 및 실제 데이터셋을 통해 고차원 환경(p > 1000)과 큰 K(최대 147)에서도 효과적으로 확장됨을 입증했다.
• 실증 결과는 FASJEM이 기존의 정규화된 우도 방법에 비해 런타임과 메모리 사용량을 극적으로 줄이면서도 높은 정확도를 유지함을 확인했다.