[논문 리뷰] Gaussian Process Vine Copulas for Multivariate Dependence

David López-Paz, Jose Miguel Hern ndez-Lobato외 1명|arXiv (Cornell University)|2013. 02. 16.

Gaussian Processes and Bayesian Inference참고 문헌 26인용 수 19

한 줄 요약

이 논문은 높은 차원의 다변량 의존성 모델링을 위해 조건부로 종속적인 복합 코페ula 매개변수를 비선형적으로 학습하는 데 있어 희소 가우시안 프로세스를 사용하는 가우시안 프로세스 빈 코페ula(GPVINE)를 제안한다. 일반적으로 가정되는 조건부 독립성의 가정을 완화함으로써 GPVINE는 실제 데이터셋에서 밀도 추정 성능을 크게 향상시켜 기준 모델 및 최첨단 방법보다 로그우도 지표에서 뛰어난 성능을 보였다.

ABSTRACT

Copulas allow to learn marginal distributions separately from the multivariate dependence structure (copula) that links them together into a density function. Vine factorizations ease the learning of high-dimensional copulas by constructing a hierarchy of conditional bivariate copulas. However, to simplify inference, it is common to assume that each of these conditional bivariate copulas is independent from its conditioning variables. In this paper, we relax this assumption by discovering the latent functions that specify the shape of a conditional copula given its conditioning variables We learn these functions by following a Bayesian approach based on sparse Gaussian processes with expectation propagation for scalable, approximate inference. Experiments on real-world datasets show that, when modeling all conditional dependencies, we obtain better estimates of the underlying copula of the data.

연구 동기 및 목표

• 코페ula 매개변수와 조건 변수 간의 조건부 독립성을 가정하는 빈 코페ula 모델의 한계를 해결하기 위해.
• 의존성 구조(예: 켄달의 타우)가 조건 변수에 따라 어떻게 변화하는지를 비선형적으로 모델링할 수 있도록 유연성을 제공하기 위해.
• 희소 가우시안 프로세스와 기대값 전파를 사용하여 고차원 코페ula 추정을 위한 확장 가능한 베이지안 추론 프레임워크를 개발하기 위해.
• 완전한 조건부 의존성을 모델링할 경우 단순화된 빈 코페ula 모델보다 더 나은 밀도 추정 성능을 얻을 수 있음을 경험적으로 검증하기 위해.
• 완전히 조건부인 이元 쌍변량 코페ula를 갖는 임의의 빈 구조를 학습하기 위한 일반 목적의 방법을 제공하기 위해.

제안 방법

• 각 이원 코페ula의 의존성 매개변수(예: 켄달의 타우)를 조건 변수의 비선형 함수로 모델링하며, 이는 τ = σ(f(u))로 표현되며, f는 잠재 함수이다.
• 잠재 함수 f에 대해 가우시안 프로세스 사전분포를 적용하여 조건부 의존성의 민감한 비모수적 모델링을 가능하게 한다.
• 고차원에서의 확장 가능성을 확보하기 위해 일반화된 FITC 근사법을 사용한 희소 가우시안 프로세스를 적용한다.
• 기대값 전파를 사용하여 근사 베이지안 추론을 수행함으로써 코페ula 매개변수에 대한 사후분포 학습을 효율적으로 수행한다.
• 각 코페ula의 형태가 조건 집합의 함수로 학습되는 계층적 분해를 통해 빈 코페ula를 구성한다.
• 원시 데이터를 균일한 누적분포로 변환하기 위해 확률적 적분 변환을 사용하여 코페ula 기반의 의존성 구조 모델링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 조건 변수의 비선형 함수로 이원 코페ula의 의존성 매개변수를 모델링할 경우 다변량 밀도 추정 성능이 향상되는가?
• RQ2 조건부 의존성이 명시적으로 모델링되는 경우와 무시되는 경우에 비해 빈 코페ula 모델의 성능은 어떻게 달라지는가?
• RQ3 기대값 전파를 사용한 희소 가우시안 프로세스는 고차원 조건부 코페ula 모델에 대해 확장 가능하고 정확한 추론을 제공할 수 있는가?
• RQ4 조건부 독립성을 가정하는 최첨단 방법보다 제안된 방법이 코페ula 매개변수에서 더 나은 성능을 보이는가?
• RQ5 실제 세계의 어떤 상황에서 완전한 조건부 의존성을 고려할 경우 코페ula 추정 성능이 뚜렷이 향상되는가?

주요 결과

• GPVINE는 주어진 데이터셋 중 주식(Stocks)를 제외한 모든 데이터셋에서 평균 테스트 로그우도가 가장 높았으며, 주식 데이터셋에서는 두 번째로 높은 성능을 보여 상위 밀도 추정 성능을 입증했다.
• 클라우드(Cloud) 데이터셋에서 GPVINE는 테스트 로그우도 9.335 ± 0.348을 기록하여 SVINE(8.899 ± 0.334)와 MLLVINE(9.013 ± 0.600)를 상당히 앞서며 성능을 뛰어넘었다.
• 쇼우틀(Shuttle) 데이터셋에서 GPVINE는 3.645 ± 0.427의 성능을 기록하여 SVINE(2.552 ± 0.273)와 MLLVINE(2.256 ± 0.612)를 크게 앞섰다.
• 하우징(Housing) 데이터셋에서 GPVINE는 4.487 ± 0.386의 성능을 기록하여 SVINE(3.975 ± 0.342)와 MLLVINE(4.246 ± 0.480)를 능가했다.
• 웨더(Weather) 데이터셋에서 GPVINE는 1.312 ± 0.227의 성능을 기록하여 SVINE(0.789 ± 0.159)와 MLLVINE(0.771 ± 0.890)를 상당히 앞서며 뚜렷한 성능 향상을 보였다.
• 이 방법은 대기압과 구름량 간의 공간적으로 변화하는 의존성 구조를 성공적으로 시각화하였으며, 이는 조건부 의존성의 구조가 지리적 지역에 따라 뚜렷하게 달라짐을 보여주었다.