[논문 리뷰] Model Selection Through Sparse Maximum Likelihood Estimation for Multivariate Gaussian or Binary Data

Onureena Banerjee, Laurent El Ghaoui외 1명|arXiv (Cornell University)|2007. 01. 01.

Statistical Methods and Inference인용 수 5

한 줄 요약

이 논문은 l1-노름 정규화를 사용하여 희소성(스퍼스리티)를 강제하는 방식으로 가우시안 및 이元 그래픽 모델에 대한 희소 최대우도추정법을 제안한다. 이는 블록 좌표강하 및 네스테로프의 일阶 방법이라는 두 가지 효율적인 알고리즘을 도입하여 수천 개의 노드로까지 확장 가능하게 하여, 증명 가능하게 수렴하는 고차원 모델 선택을 가능하게 하며, 내부점 방법에 비해 개선된 계산 복잡도를 제공한다.

ABSTRACT

We consider the problem of estimating the parameters of a Gaussian or binary distribution in such a way that the resulting undirected graphical model is sparse. Our approach is to solve a maximum likelihood problem with an added l1-norm penalty term. The problem as formulated is convex but the memory requirements and complexity of existing interior point methods are prohibitive for problems with more than tens of nodes. We present two new algorithms for solving problems with at least a thousand nodes in the Gaussian case. Our first algorithm uses block coordinate descent, and can be interpreted as recursive l1-norm penalized regression. Our second algorithm, based on Nesterov’s first order method, yields a complexity estimate with a better dependence on problem size than existing interior point methods. Using a log determinant relaxation of the log partition function (Wainwright and Jordan [2006]), we show that these same algorithms can be used to solve an approximate sparse maximum likelihood problem for the binary case. We test our algorithms on synthetic data, as well as on gene expression and senate voting records data.

연구 동기 및 목표

• 고차원 다변량 가우시안 또는 이원 데이터로부터 희소 무방향 그래픽 모델을 학습하기 위한 확장 가능한 방법을 개발하는 것.
• 수천 개의 노드를 초과하는 문제에서 내부점 방법의 계산 비용이 지나치게 높아져 실행 불가능한 문제를 해결하는 것.
• 기존 방법보다 더 나은 복잡도 스케일링을 유지하면서 수렴 보장을 갖는 최적화 알고리즘을 설계하는 것.
• 분할 함수의 로그 결정행렬 근사화를 사용하여 희소 최대우도 프레임워크를 이원 데이터에 확장하는 것.
• 합성 데이터, 유전자 발현 데이터, 미국 상원 투표 기록을 기반으로 알고리즘의 실증적 검증을 수행하는 것.

제안 방법

• 정밀도 행렬의 희소성 유도를 위해 l1-노름 펜alties를 포함한 볼록 최적화 문제로 그래픽 모델 선택 문제를 수식화한다.
• 매개변수를 번갈아가며 업데이트하는 블록 좌표강하 알고리즘을 도입하며, 이는 순차적 l1-정규화 회귀와 동일하다.
• 내부점 방법에 비해 문제 크기와의 의존도를 개선하기 위해 네스테로프의 일阶 방법을 적용한다.
• 이원 데이터에 대한 확장 가능성을 위해 로그 분할 함수의 로그 결정행렬 근사화를 적용한다.
• 이를 통해 유도된 근사 희소 최대우도 문제를 동일한 두 알고리즘으로 해결한다.
• 철저한 최적화 구조 및 복잡도 분석을 통해 수렴성과 계산 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 l1-정규화 최대우도 추정법은 고차원 가우시안 데이터에 대해 희소적이고 정확한 그래픽 모델을 생성할 수 있는가?
• RQ2 확장 가능한 최적화 알고리즘이 대규모 가우시안 그래픽 모델에서 계산 비용이 지나치게 높은 내부점 방법을 대체할 수 있는가?
• RQ3 어떻게 근사화 기법을 사용하여 희소 최대우도 프레임워크를 이원 데이터에 적용할 수 있는가?
• RQ4 제안된 알고리즘의 계산 복잡도와 실세계 데이터셋에서의 확장성은 어떠한가?
• RQ5 제안된 알고리즘은 합성 데이터 및 실세계 데이터(유전자 발현, 상원 투표 기록 등)에서 어떻게 성능을 발휘하는가?

주요 결과

• 블록 좌표강하 알고리즘은 수렴 보장이 있는 고차원 가우시안 그래픽 모델에서 효율적인 희소 모델 선택을 가능하게 한다.
• 네스테로프의 일阶 방법은 기존 내부점 방법에 비해 문제 크기와의 의존도가 더 우수한 복잡도 스케일링을 달성한다.
• 로그 결정행렬 근사화를 통해 이원 데이터에 대한 희소 최대우도 접근법을 최소한의 정확도 손실로 확장할 수 있다.
• 알고리즘은 유전자 발현 데이터에서 의미 있는 구조를 성공적으로 식별하여 생물학적으로 타당한 조절 네트워크를 드러낸다.
• 미국 상원 투표 기록 분석에서, 알고리즘은 정당 소속과 이념적 일치와 일치하는 해석 가능한 패턴을 회복한다.
• 두 알고리즘이 최소 1,000개의 노드를 포함하는 문제에까지 확장 가능하며, 기존 방법에 비해 계산 실행 가능성 면에서 뚜렷한 우수성을 보인다.