[논문 리뷰] Exponential Series Approaches for Nonparametric Graphical Models

Eric Janofsky|arXiv (Cornell University)|2015. 06. 11.

Statistical Methods and Inference참고 문헌 69인용 수 6

한 줄 요약

이 논문은 정규화된 최대우도와 스코어 매칭을 이용한 비모수적 그래픽 모델에 대한 지수급수 접근법을 제안하며, 고차원 밀도 추정에서 희소성과 리스크 일致성을 달성한다. 약한 매끄러움 조건 하에서 매개변수 및 모델 선택 일치성에 대한 이론적 보장을 수립하였으며, 시뮬레이션 및 실제 MEG 데이터에서의 실험적 검증을 수행하였다.

ABSTRACT

This thesis studies high-dimensional, continuous-valued pairwise Markov Random Fields. We are particularly interested in approximating pairwise densities whose logarithm belongs to a Sobolev space. For this problem we propose the method of exponential series [Crain, 1974; Barron and Sheu, 1991], which approximates the log density by a finite- dimensional exponential family with the number of sufficient statistics increasing with the sample size. We consider two approaches to estimating these models. The first is regularized maximum likelihood. This involves optimizing the sum of the log-likelihood of the data and a sparsity-inducing regularizer. We provide consistency and edge selection guarantees for this method. We then propose a variational approximation to the likelihood based on tree- reweighted, nonparametric message passing. We then consider estimation using regularized score matching. This approach uses an alternative scoring rule to the log-likelihood, which obviates the need to compute the normalizing constant of the distribution. For general continuous-valued exponential families, we provide parameter and edge consistency results. We then describe results for model selection in the nonparametric pairwise model using exponential series. The regularized score matching problem is shown to be a convex program; we provide scalable algorithms based on consensus Alternating Direction Method of Multipliers (ADMM, [Boyd et al., 2011]) and Coordinate-wise Descent. We compare our method to others in the literature as well as the aforementioned TRW estimator using simulated data.

연구 동기 및 목표

• 고차원 데이터에서의 상관관계를 모델링하여 비모수적 밀도 추정에서 차원의 저주를 해결한다.
• 결합 밀도에 대한 파rametric 가정 없이 비모수적 그래픽 모델을 추정하기 위한 이론적으로 타당한 방법을 개발한다.
• 정규화와 기능적 근사법을 통해 고차원 환경에서의 희소성과 모델 선택 일치성을 확보한다.
• 진짜 밀도에 대한 약한 매끄러움 조건 하에서 리스크 일치성과 매개변수 추정 보장을 제공한다.
• 기능적 메시지 전달 및 공감 ADMM 등의 새로운 알고리즘을 통해 실용적인 추정을 가능하게 한다.

제안 방법

• 힐버트 공간에서의 지수급수 전개를 이용해 비모수적 이元밀도를 근사하며, 정규수직 기저 함수(예: 레지오드 다항식)를 활용한다.
• 희소성을 유도하기 위해 ℓ1형 페널티를 적용한 정규화된 최대우도 추정을 적용한다.
• 고차원에서의 가능도 계산의 타당성을 향상하기 위해 트리 재가중 변분 가능도 근사(TrW)를 도입한다.
• 정규화된 가능도 및 스코어 매칭 目적 함수의 효율적 최적화를 위해 기능적 메시지 전달과 공감 ADMM를 활용한다.
• 기본-이중 증거 조건과 농도 불등식을 이용해 매개변수 및 모델 선택 일치성을 수립하는 이론적 경계를 유도한다.
• 정규화 상수를 피하기 위해 하이바르린 유형의 스코어 규칙을 사용한 스코어 매칭을 적용하여 비지수형 가족 설정에서도 추정이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 약한 매끄러움 조건 하에서 지수급수 근사가 비모수적 그래픽 모델에서 리스크 일치성과 모델 선택 일치성을 달성할 수 있는가?
• RQ2 기능 계수에 대한 ℓ1 페널티를 통한 정규화가 고차원 이원밀도 추정에서 희소성과 추정 정확도에 어떤 영향을 미치는가?
• RQ3 비모수적 설정에서 일관된 매개변수 및 그래프 구조 복원을 위해 필요한 이론적 표본 복잡도는 얼마인가?
• RQ4 기능적 메시지 전달과 공감 ADMM는 표준 방법(예: glasso)에 비해 계산 효율성과 간선 선택 정확도 측면에서 어떻게 비교되는가?
• RQ5 비모수적 기저 전개를 사용한 스코어 매칭이 복잡한 비정규 분포 의존성 구조를 추정하는 데 정규화된 MLE를 능가할 수 있는가?

주요 결과

• 약한 매끄러움 조건 하에서 제안된 정규화된 MLE와 지수급수 근사법은 $ O\big(\frac{\text{polylog}(d)}{n}\big) $ 의 속도로 리스크 일치성을 달성한다.
• 조정 파ram터 $ \rho_n $ 가 $ \frac{\rho_n}{\rho^*} \to 0 $ 를 만족할 경우 모델 선택 일치성이 확립되며, 이는 정확한 간선 포함/제거를 보장한다.
• 비모수적 이원모델의 경우 진짜 밀도가 순서 $ r $ 의 소볼레프 공간에 속할 때 $ \tilde{O}(n^{-\frac{2r-1}{2r+13}}) $ 의 추정 오차 속도를 달성한다.
• 실험 결과 SKEPTIC 추정기(TrW 기반)가 유사한 표본 크기에서 glasso 및 TrW를 능가하는 간선 선택 성능을 보였으며, 특히 고차원 설정에서 뚜렷한 우월성을 보였다.
• MEG 데이터에서 제안된 방법은 생물학적으로 타당한 뇌 연결성 패턴을 회복하였으며, glasso 및 TrW에 비해 간선 선택 성능이 향상되었다.
• QUASR 알고리즘(공감 ADMM 기반)의 정규화 경로는 다양한 표본 크기에서 안정적인 수렴과 정확한 그래프 복원을 보였다.