[논문 리뷰] Scalable Computation of Regularized Precision Matrices via Stochastic Optimization

Yves F. Atchadé, Rahul Mazumder외 1명|arXiv (Cornell University)|2015. 09. 01.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 탄성망 규제 하에서 정규화된 정밀행렬의 스케일러블한 계산을 위한 확률적 프락시멀 최적화 프레임워크를 제안한다. 행렬 역행렬 계산을 피하기 위해 다변량 정규분포에서 유한한 샘플을 사용한다. 이 방법은 계산 효율성과 수렴 보장을 동시에 확보하며, 대규모 비희소 문제에 대해서도 효과적으로 작동하여 결정론적 방법보다 훨씬 빠른 속도를 기록하면서도 해의 정확도를 유지한다.

ABSTRACT

We consider the problem of computing a positive definite $p imes p$ inverse covariance matrix aka precision matrix $θ=(θ_{ij})$ which optimizes a regularized Gaussian maximum likelihood problem, with the elastic-net regularizer $\sum_{i,j=1}^{p} λ(α|θ_{ij}| + \frac{1}{2}(1- α) θ_{ij}^2),$ with regularization parameters $α\in [0,1]$ and $λ>0$. The associated convex semidefinite optimization problem is notoriously difficult to scale to large problems and has demanded significant attention over the past several years. We propose a new algorithmic framework based on stochastic proximal optimization (on the primal problem) that can be used to obtain near optimal solutions with substantial computational savings over deterministic algorithms. A key challenge of our work stems from the fact that the optimization problem being investigated does not satisfy the usual assumptions required by stochastic gradient methods. Our proposal has (a) computational guarantees and (b) scales well to large problems, even if the solution is not too sparse; thereby, enhancing the scope of regularized maximum likelihood problems to many large-scale problems of contemporary interest. An important aspect of our proposal is to bypass the \emph{deterministic} computation of a matrix inverse by drawing random samples from a suitable multivariate Gaussian distribution.

연구 동기 및 목표

• 결정론적 방법을 사용할 경우 대규모 정규화된 정밀행렬 추정 문제를 해결하는 데 발생하는 계산적 병목 현상을 해결하기 위해.
• 고차원 비희소 정밀행렬에 대해 정확도와 수렴성을 유지하는 확장 가능한 알고리즘을 개발하기 위해.
• 스토스틱 최적화에서 비용이 많이 드는 행렬 역행렬 연산을 피하기 위해 다변량 정규분포에서 샘플링을 사용하기 위해.
• 기본 가정이 성립하지 않는 설정에서 스트로스틱 프락시멀 방법에 대한 이론적 계산 보장을 제공하기 위해.
• 현대 통계 및 머신러닝 분야에서 대규모 문제에 적용 가능한 정규화된 최대우도 추정의 적용 범위를 넓히기 위해.

제안 방법

• 정규화된 로그우도 목표함수를 최적화하기 위해 원래 문제에 대해 스트로스틱 프락시멀 경사수하강법을 사용한다.
• 결정론적 행렬 역행렬 연산을 다변량 정규분포에서 유한한 샘플링으로 대체하여 공분산 역행렬 항을 추정한다.
• i.i.d. 샘플을 N(0, θ⁻¹)에서 추출하여 헤시안과 기울기의 무작위 근사치를 사용함으로써 확장 가능한 업데이트를 가능하게 한다.
• 비i.i.d. 샘플링과 스트로스틱 최적화에서 비표준 가정을 고려한 새로운 수렴 분석 프레임워크를 도입한다.
• 두 단계 업데이트 방식을 적용한다: 스트로스틱 기울기 단계 이후 프락시멀 임계처리를 통해 탄성망 페널티를 강제한다.
• 감소하는 스텝 사이즈를 사용하고, 미약한 정규성 조건 하에서 반복값이 최적 해에 거의 확실히 수렴하도록 보장한다.

실험 결과

연구 질문

• RQ1 표준 수렴 가정이 성립하지 않는 조건에서 스트로스틱 최적화가 정규화된 정밀행렬 추정에 효과적으로 적용될 수 있는가?
• RQ2 해의 정확도를 희생시키지 않고 대규모 정밀행렬 계산에서 행렬 역행렬을 어떻게 피할 수 있는가?
• RQ3 이 비표준 설정에서 스트로스틱 프락시멀 방법에 대해 어떤 계산적 및 이론적 보장을 확보할 수 있는가?
• RQ4 제안된 방법이 조밀한 정밀행렬을 가진 고차원 문제에 얼마나 잘 스케일링되는가?
• RQ5 속도와 해의 정확도 측면에서 스트로스틱 알고리즘이 결정론적 솔버보다 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 스트로스틱 알고리즘은 결정론적 방법에 비해 상당한 계산 절감 효과를 기록하면서도 거의 최적의 해를 도출한다.
• 기본 가정이 위반되는 경우에도 이론적 수렴 보장을 제공한다.
• 행렬 역행렬을 다변량 정규분포에서의 무작위 샘플링으로 대체함으로써 계산 비용이 많이 드는 연산을 피하고 확장성을 확보한다.
• 알고리즘은 진짜 정밀행렬이 희소하지 않은 경우에도 효과적으로 대규모 문제에 스케일링된다. 이는 정규화 추정의 적용 범위를 넓힌다.
• 실험 결과에 따르면 스트로스틱 방법은 결정론적 솔버보다 더 빠르게 수렴하면서도 대규모 데이터셋에서 해의 정확도를 유지한다.
• 이 방법은 n과 p가 모두 큰 고차원 환경에서도 강인하여 현대 데이터 과학 응용 분야에 적합하다.