[논문 리뷰] Model Selection Through Sparse Maximum Likelihood Estimation

Onureena Banerjee, Laurent El Ghaoui외 1명|ArXiv.org|2007. 07. 04.

Bayesian Modeling and Causal Inference참고 문헌 5인용 수 117

한 줄 요약

이 논문은 ℓ₁-노름 정규화를 사용하여 역공분산행렬의 희박성(스퍼스티)을 유도하는 가우시안 및 이진 그래픽 모델에 대한 희박 최대우도추정 방법을 제안한다. 블록좌표강하와 네스테로프의 일阶 방법을 활용한 두 가지 효율적인 알고리즘을 도입하여, 최대 1,000개 노드까지의 고차원 문제에 스케일링 가능하며, 유전자 발현 및 투표 기록 데이터에서 정확한 모델 선택이 가능하다. 이는 내부점 방법 대비 수렴 보장과 개선된 복잡도를 제공한다.

ABSTRACT

We consider the problem of estimating the parameters of a Gaussian or binary distribution in such a way that the resulting undirected graphical model is sparse. Our approach is to solve a maximum likelihood problem with an added l_1-norm penalty term. The problem as formulated is convex but the memory requirements and complexity of existing interior point methods are prohibitive for problems with more than tens of nodes. We present two new algorithms for solving problems with at least a thousand nodes in the Gaussian case. Our first algorithm uses block coordinate descent, and can be interpreted as recursive l_1-norm penalized regression. Our second algorithm, based on Nesterov's first order method, yields a complexity estimate with a better dependence on problem size than existing interior point methods. Using a log determinant relaxation of the log partition function (Wainwright & Jordan (2006)), we show that these same algorithms can be used to solve an approximate sparse maximum likelihood problem for the binary case. We test our algorithms on synthetic data, as well as on gene expression and senate voting records data.

연구 동기 및 목표

• 무향 그래픽 모델에서 고차원 모델 선택을 위한 계산적으로 효율적인 방법을 개발하는 것.
• 대규모 희박 역공분산행렬 추정에 있어 내부점 방법의 금방이 되는 계산 비용 문제를 해결하는 것.
• 분할 함수의 로그 행렬식 근사화를 통해 이진 데이터에 대한 희박 최대우도추정을 확장하는 것.
• 기존 방법보다 문제 크기와 더 나은 복잡도 의존성을 가지는 알고리즘을 제공하는 것.
• 유전자 발현 및 미국 상원 투표 기록을 포함한 실제 데이터에서 접근법을 검증하는 것.

제안 방법

• 역공분산행렬에 ℓ₁-노름 펜alties를 적용한 볼록 최적화 문제로 희박한 가우시안 그래픽 모델 선택을 수식화한다.
• 이중 문제를 유도하고, 각 행/열에 대해 ℓ₁-정규화된 회귀를 반복적으로 업데이트하는 블록좌표강하를 사용한다.
• 내부점 방법 대비 더 나은 복잡도 스케일링을 확보하기 위해 네스테로프의 일阶 방법을 적용한다. 특히 p가 클 경우 유리하다.
• 이항 가족 모델에서의 비가역적 로그-분할 함수를 처리하기 위해, 와인그라잇과 조던(2006)이 제안한 로그 행렬식 근사화를 사용한다.
• 가짜 발견률을 제어하기 위해 카이제곱 근사화를 통한 유의성 기반 펜alties 파rameter 선택 규칙을 구현한다.
• 이항 가족 모델에서의 비가역적 로그-분할 함수를 다루기 위해 근사화 기반 접근법을 활용한다.

실험 결과

연구 질문

• RQ1 ℓ₁-벌점 최대우도추정은 고차원 가우시안 데이터에 대해 희박하고 해석 가능한 그래픽 모델을 생성할 수 있는가?
• RQ2 10개 이상의 변수를 가진 문제에서 희박 역공분산행렬 추정의 계산 복잡도는 어떻게 감소시킬 수 있는가?
• RQ3 분할 함수의 근사화를 통해 동일한 최적화 프레임워크를 이진 데이터에 적용할 수 있는가?
• RQ4 내부점 방법 대비 제안된 알고리즘의 이론적 복잡도 및 수렴 행동은 어떠한가?
• RQ5 결과로 도출된 그래픽 모델은 실제 데이터 세트에서 알려진 생물학적 및 사회적 관계를 얼마나 잘 복원하는가?

주요 결과

• 블록좌표강하 알고리즘은 수렴을 보이며, 각 노드의 이웃 선택을 순차적 ℓ₁-정규화 회귀로 해석할 수 있다.
• 네스테로프 기반 알고리즘은 내부점 방법 대비 문제 크기와 더 나은 의존성을 가지는 복잡도 추정치를 제공하여 대규모 문제에 적합하다.
• 휴즈 유전자 발현 데이터셋에서, 6,136개 유전자 중 5,797개가 조건부 독립으로 추정되었으며, LDL 수용체는 지질 및 스테로이드 대사와 관련된 유전자들과 강한 연결을 보였다.
• 아이콘릭스 마이크로어레이 데이터셋(500개 유전자)에서, 339개 유전자가 조건부 독립으로 추정되었으며, LDL 수용체는 핵심 대사 조절자들과 및 미주단지된 ESTs와 연결되어 있었다.
• 미국 상원 투표 기록(100명의 sena)에서, 정당 소속이 연결 패턴에 강한 영향을 미치는 네트워크를 복원했으며, 초피와 얼렌과 같은 알려진 정치 인물들이 기대한 구조적 역할을 하였다.
• 상원 데이터에 기반한 그래픽 모델은 근사화에 기반했음에도 불구하고, 통상적인 정치적 통찰과 언론 보도와 일치하여, 이 접근법의 해석 가능성과 타당성을 검증했다.