[논문 리뷰] The Multiple Quantile Graphical Model

Alnur Ali, J. Zico Kolter외 1명|arXiv (Cornell University)|2016. 07. 02.

Bayesian Modeling and Causal Inference인용 수 9

한 줄 요약

다중 분위수 그래픽 모델(MQGM)은 이웃 선택 기법을 확장하여, 한 변수의 다수 조건부 분위수를 다른 변수들에 대한 희박한 함수로 모델링함으로써 이질분산성과 비정규성의 그래픽 모델을 비모수적으로도 탄력적으로 추정할 수 있도록 한다. 규칙성 조건 하에서 MQGM은 정규분포 가정 외부에서도 조건부 이상성 구조를 일관되게 복원하며, 효율적인 ADMM 기반 알고리즘과 복합 분포 추출 전략을 제공한다.

ABSTRACT

We introduce the Multiple Quantile Graphical Model (MQGM), which extends the neighborhood selection approach of Meinshausen and Buhlmann for learning sparse graphical models. The latter is defined by the basic subproblem of modeling the conditional mean of one variable as a sparse function of all others. Our approach models a set of conditional quantiles of one variable as a sparse function of all others, and hence offers a much richer, more expressive class of conditional distribution estimates. We establish that, under suitable regularity conditions, the MQGM identifies the exact conditional independencies with probability tending to one as the problem size grows, even outside of the usual homoskedastic Gaussian data model. We develop an efficient algorithm for fitting the MQGM using the alternating direction method of multipliers. We also describe a strategy for sampling from the joint distribution that underlies the MQGM estimate. Lastly, we present detailed experiments that demonstrate the flexibility and effectiveness of the MQGM in modeling hetereoskedastic non-Gaussian data.

연구 동기 및 목표

• 정규분포 가정을 초월한 탄력적이고 비모수적 그래픽 모델 학습 방법을 개발하기 위해.
• 각 변수의 다수 조건부 분위수를 다른 변수들에 대한 희박한 함수로 모델링하여 더 풍부한 의존성 구조를 포착하기 위해.
• 이질분산성과 비정규성 데이터를 포함한 일반적인 규칙성 조건 하에서 그래픽 모델의 구조 복원 일관성을 확립하기 위해.
• 교차 방향 승수법(ADMM)을 이용한 MQGM 피팅을 위한 효율적인 알고리즘을 제공하기 위해.
• 하류 추론을 위해 MQGM 추정치에 의해 암시되는 연합 분포에서 샘플링을 가능하게 하기 위해.

제안 방법

• MQGM은 라소 정규화를 사용하여 다른 모든 변수들에 대해 다수의 분위수 회귀(예: τ = 0.1, 0.3, 0.5, 0.7, 0.9)를 적합시켜 각 변수의 조건부 분포를 모델링한다.
• 이 방법은 가짜우도 프레임워크를 사용하여, 다수의 분위수 회귀로 추정된 조건부 분포의 곱으로 연합 분포를 근사한다.
• 다수의 분위수 회귀 하위문제에서 발생하는 대규모 희박 최적화 문제를 효율적으로 해결하기 위해 ADMM 기반 최적화 알고리즘을 개발하였다.
• 각 하위문제가 희박한 예측자 집합을 가지며, 총 d × m 개의 하위문제를 해결함으로써 고차원 설정(d ≫ n)을 다룰 수 있다.
• 적합된 조건부 분위수 모델을 사용하여 추정된 연합 분포에서 데이터를 생성하기 위한 샘플링 전략을 제안하였다.
• y를 x에 대해 회귀하는 데 있어 외생 변수 x를 통합함으로써 조건부 그래픽 모델로의 확장을 수행하였다.

실험 결과

연구 질문

• RQ1 평균 기반 모델을 초월하여 복잡한 비정규성과 이질분산 조건부 의존성을 포착할 수 있는 그래픽 모델을 구성할 수 있는가?
• RQ2 다수의 조건부 분위수를 모델링함으로써 일반적인 데이터 분포 하에서 진정한 조건부 이상성 구조가 일관되게 복원되는가?
• RQ3 GLasso, MB, SpaceJam와 같은 기존 방법들과 비교해 MQGM은 비정규성과 이질분산 데이터를 어떻게 더 잘 모델링하는가?
• RQ4 d ≫ n 이고 분위수 수가 많을 경우에도 MQGM은 효율적으로 확장 가능한가?
• RQ5 MQGM 프레임워크는 바람 풍력 예측 및 인플루엔자 유행 모델링과 같은 실생활 응용에 적합한가?

주요 결과

• 적절한 규칙성 조건 하에서 MQGM은 비정규성과 이질분산 설정에서도 확률이 1로 수렴하는 방식으로 진정한 조건부 이상성 구조를 일관되게 복원한다.
• 링 분포에 대한 실험에서 MQGM은 MB, GLasso, SpaceJam보다 훨씬 낮은 총 변동(TV) 거리와 콜모고로프-스미르노프(KS) 거리를 기록하여 조건부 누적분포함수(CDF) 추정에서 뛰어난 성능을 보였다.
• 미국 인플루엔자 유병률 데이터 분석에서 MQGM은 지역 간 시간에 따라 변화하는 분산을 보이는 인플루엔자 보고의 이질분산 성격을 잘 포착하였다.
• 바람 풍력 예측에서 MQGM은 시간 간 의존성(예: 시간 간 상관관계)과 농장 간 의존성을 성공적으로 식별하였으며, 비대칭 블록이 비영이 아닌 것으로 나타나 농장 간 영향력이 존재함을 시사하였다.
• ADMM 알고리즘은 효율적으로 확장되었으며, 336개 변수, 5개 분위수, 3,417개 외생 변수를 가진 문제에서 각 하위문제를 약 87분 만에 해결하였다.
• MQGM의 조건부 분포는 시각적으로 직관적이었으며, 예를 들어 일부 분할에서는 이중모드를 보였다. 반면 경쟁 방법들은 과도하게 정규분포 형태의 밀도를 생성하여 MQGM이 복잡한 비타원형 의존성을 모델링할 수 있음을 반영하였다.