[논문 리뷰] Large-Scale Optimization Algorithms for Sparse Conditional Gaussian Graphical Models

Calvin McCarter, Se Young Kim|arXiv (Cornell University)|2015. 09. 15.

Bayesian Modeling and Causal Inference인용 수 13

한 줄 요약

이 논문은 대규모 희소 조건부 가우시안 그래픽 모델(CGGMs)을 위한 교대 뉴턴 좌표 하강 알고리즘과 그 블록-좌표 확장 방법을 제안하며, 계산 시간과 메모리 사용량을 크게 감소시킨다. 네트워크 및 입력-출력 매핑 매개변수를 번갈아 최적화하고 블록 단위 업데이트를 사용함으로써, 단일 머신에서 수백만 개의 변수와 수십십억 개의 매개변수를 가진 문제에까지 스케일링이 가능해져 이전 방법의 메모리 및 속도 제약을 초월한다.

ABSTRACT

This paper addresses the problem of scalable optimization for L1-regularized conditional Gaussian graphical models. Conditional Gaussian graphical models generalize the well-known Gaussian graphical models to conditional distributions to model the output network influenced by conditioning input variables. While highly scalable optimization methods exist for sparse Gaussian graphical model estimation, state-of-the-art methods for conditional Gaussian graphical models are not efficient enough and more importantly, fail due to memory constraints for very large problems. In this paper, we propose a new optimization procedure based on a Newton method that efficiently iterates over two sub-problems, leading to drastic improvement in computation time compared to the previous methods. We then extend our method to scale to large problems under memory constraints, using block coordinate descent to limit memory usage while achieving fast convergence. Using synthetic and genomic data, we show that our methods can solve one million dimensional problems to high accuracy in a little over a day on a single machine.

연구 동기 및 목표

• 대규모 희소 조건부 가우시안 그래픽 모델(CGGMs)을 위한 확장 가능하고 메모리 효율적인 최적화 방법의 부족을 해결한다.
• 기존의 뉴턴 좌표 하강 방법이 큰 밀집 행렬을 저장해야 하므로 발생하는 높은 계산 비용과 메모리 오버헤드를 완화한다.
• 제한된 메모리가 있는 단일 머신에서 수백만 개의 변수와 수십십억 개의 매개변수를 가진 CGGM의 효율적 추정을 가능하게 한다.
• 유전체학, 에너지 예측, 금융 등 실제 응용 분야에서 수렴 속도와 확장성을 향상시킨다.

제안 방법

• 출력 네트워크 정밀도 행렬(Θ)과 입력-출력 매핑 매개변수(Λ)를 번갈아 최적화하는 교대 뉴턴 좌표 하강 알고리즘을 제안하며, 헤시안 행렬 계산을 (p+q)×(p+q)가 아닌 q×q 크기로 줄인다.
• 출력 네트워크 매개변수(Θ)에 대해서만 2차 근사(approximation)를 사용하고, Λ는 간단한 좌표 하강을 통해 업데이트함으로써 반복 계산 비용을 극적으로 감소시킨다.
• 매개변수를 블록으로 나누고 각 블록 내에서 중간 계산 결과를 재사용함으로써 메모리 사용량을 제한하는 블록 단위 매개변수 업데이트를 도입한다.
• 블록-좌표 하강 접근법을 Θ와 Λ 양쪽에 확장하여 블록 희소성(block sparsity)을 활용해 필요에 따라 큰 행렬을 다시 계산하지 않도록 한다.
• 다중 코어 시스템에서의 병렬 처리를 구현하여 수렴 속도를 가속화하고, 16개 코어에서 최대 12배의 속도 향상을 달성한다.
• 각 반복에서 목적 함수의 충분한 감소를 보장하기 위해 선형 탐색(line search)을 사용해 스텝 크기를 선택한다.

실험 결과

연구 질문

• RQ1 CGGM 추정에서 Θ와 Λ의 교대 최적화가 공동 매개변수 업데이트에 비해 계산 시간을 줄일 수 있는가?
• RQ2 블록 단위 좌표 하강이 메모리에 담을 수 없는 크기의 문제에 대해서도 CGGM 학습을 가능하게 할 수 있는가?
• RQ3 합성 및 실제 게놈 데이터셋에서 제안된 방법의 계산 시간과 메모리 사용량은 어떻게 스케일링되는가?
• RQ4 기존 최첨단 방법에 비해 최적의 희소성 패턴에 더 빨리 수렴할 수 있는가?

주요 결과

• 34,249개의 SNP와 3,268개의 유전자 발현을 가진 게놈 데이터셋에서, 교대 뉴턴 좌표 하강 알고리즘이 계산 시간을 22.0시간에서 0.51시간으로 감소시켰다.
• 34,249개의 SNP와 10,256개의 유전자를 가진 더 큰 데이터셋에서 이전의 뉴턴 좌표 하강 방법은 메모리 부족으로 실패했지만, 제안된 교대 뉴턴 블록 좌표 하강 방법은 2.3시간 내에 완료되었다.
• 442,440개의 입력과 3,268개의 출력을 가진 합성 데이터셋에서, 제안된 방법은 11시간 내에 완료되었고, 이전 방법은 메모리 제약으로 실패했다.
• 교대 뉴턴 블록 좌표 하강 방법은 100만 개의 입력까지 스케일링이 가능했고, 비블록 버전은 p > 100,000일 때 메모리 부족으로 실패했다.
• 28GB RAM을 가진 머신에서 16개 코어를 사용하여 최대 12배의 속도 향상을 달성했으며, 이는 강력한 병렬 처리 효율성을 보여준다.
• 모든 방법이 전역 최적해에 수렴했지만, 제안된 방법은 기준 대비 최적의 희소성 패턴을 훨씬 더 빨리 복구했다.