[논문 리뷰] Gaussian Process Networks

Nir Friedman, Iftach Nachman|arXiv (Cornell University)|2013. 01. 16.

Gaussian Processes and Bayesian Inference참고 문헌 29인용 수 59

한 줄 요약

이 논문은 연속형 변수 도메인에서 베이지안 구조 학습을 위한 새로운 확률적 그래픽 모델인 가우시안 프로세스 네트워크(GPNs)를 소개한다. 가우시안 프로세스 사전분포를 활용함으로써 GPNs는 정확한 우도 우도 계산을 가능하게 하여, 원칙적인 베이지안 점수 기반으로 복잡한 비선형 기능적 의존성을 효율적으로 탐지할 수 있다.

ABSTRACT

In this paper we address the problem of learning the structure of a Bayesian network in domains with continuous variables. This task requires a procedure for comparing different candidate structures. In the Bayesian framework, this is done by evaluating the {em marginal likelihood/} of the data given a candidate structure. This term can be computed in closed-form for standard parametric families (e.g., Gaussians), and can be approximated, at some computational cost, for some semi-parametric families (e.g., mixtures of Gaussians). We present a new family of continuous variable probabilistic networks that are based on {em Gaussian Process/} priors. These priors are semi-parametric in nature and can learn almost arbitrary noisy functional relations. Using these priors, we can directly compute marginal likelihoods for structure learning. The resulting method can discover a wide range of functional dependencies in multivariate data. We develop the Bayesian score of Gaussian Process Networks and describe how to learn them from data. We present empirical results on artificial data as well as on real-life domains with non-linear dependencies.

연구 동기 및 목표

• 기존의 파라미터 모델이 복잡한 기능적 관계를 포착하지 못하는 연속형 변수를 가진 베이지안 네트워크에서의 구조 학습 과제를 해결한다.
• 표준 파라미터 가족(예: 가우시안)과 반파라미터 모델(예: 가우시안 혼합모델)이 구조 비교를 위한 우도 우도 계산에서 겪는 한계를 극복한다.
• 다양한 다변량 데이터에서 임의의 노이즈가 있는 기능적 관계를 모델링할 수 있는 유연하고 반파라미터적 프레임워크를 개발한다.
• 가우시안 프로세스 사전분포를 이용해 정확한 우도 우도 계산을 가능하게 하여 원칙적인 베이지안 모델 점수 및 선택을 촉진한다.
• 실제 및 시뮬레이션 데이터 세트에서 비선형 의존성을 효과적으로 탐지할 수 있도록 확장 가능하고 이론적으로 탄탄한 방법을 제공한다.

제안 방법

• 연속형 변수를 위한 가우시안 프로세스 사전분포 기반의 새로운 확률적 네트워크 가족을 도입하여 비모수적 기능적 의존성 모델링을 가능하게 한다.
• 가우시안 프로세스의 공액성 성질을 활용해 GPN 구조 하에서 데이터의 우도 우도를 유도함으로써 베이지안 점수를 제안한다.
• 우도 우도를 점수 함수로 사용하여 후보 네트워크 구조 간의 비교 및 선택을 수행하며, 베이지안 모델 선택 원칙과 일관성을 확보한다.
• 인간적 및 실제 데이터 세트에 이 방법을 적용하여, 특정한 파라미터 형태를 가정하지 않고도 복잡한 비선형 관계를 학습할 수 있음을 입증한다.
• GP 사전분포의 전체 조건부 분포를 활용해 네트워크 전반에 걸쳐 불확실성을 전파하고 몬테카를로 근사 없이 정확한 우도를 계산한다.
• GP 기반 점수를 구조 학습 알고리즘에 통합하여 계산 가능성을 유지하면서도 그래픽적 구조 탐색을 가능하게 한다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스 사전분포를 사용하여 연속형 변수를 가진 베이지안 네트워크에서의 구조 학습을 위한 완전한 베이지안 프레임워크를 정의할 수 있는가?
• RQ2 GP 사전분포의 사용이 다른 반파라미터 모델에서 사용되는 고비용 근사 기법을 피하는 정확한 우도 우도 계산을 가능하게 하는가?
• RQ3 GPNs는 다변량 데이터에서 복잡한 비선형 기능적 의존성을 효과적으로 탐지하고 표현할 수 있는가?
• RQ4 구조 복원 및 예측 정확도 측면에서 GPNs의 성능은 기존의 파라미터 모델 및 반파라미터 모델과 비교해 어떻게 되는가?
• RQ5 제안된 방법은 실세계 데이터에서 비선형 의존성이 존재할 경우에도 확장 가능하고 노이즈에 강건한가?

주요 결과

• 제안된 가우시안 프로세스 네트워크 프레임워크는 연속형 변수를 가진 베이지안 네트워크에 대해 정확한 우도 우도 계산을 가능하게 하여 몬테카를로 근사가 필요 없어진다.
• GPNs는 다변량 데이터에서 임의의 노이즈가 있는 기능적 관계를 효과적으로 모델링하여 비선형 의존성을 포착하는 데 강력한 능력을 보였다.
• 시뮬레이션 데이터에 대한 실증 평가에서, GPNs는 고노이즈 수준에서도 진짜 기능적 구조를 정확하게 복원하는 것으로 나타났다.
• 실생활 도메인에서 비선형 의존성이 존재할 경우, GPNs는 표준 가우시안 네트워크 및 기타 파라미터 모델보다 구조 학습 정확도에서 뛰어난 성능을 보였다.
• 정확한 우도 우도 기반의 원칙적인 베이지안 점수 메커니즘을 유지하면서도 경쟁적인 예측 성능을 달성하였다.
• 이 프레임워크는 다양한 데이터 분포와 기능 형태에서 일관된 성능을 보이며, 강건하고 일반화 능력이 뛰어나다.