[논문 리뷰] On Approximate Inference for Generalized Gaussian Process Models

Lifeng Shang, Antoni B. Chan|arXiv (Cornell University)|2013. 11. 25.

Gaussian Processes and Bayesian Inference참고 문헌 64인용 수 10

한 줄 요약

이 논문은 일반화된 가우시안 프로세스 모델(GGPM)을 위한 통합 프레임워크를 제안한다. 이 프레임워크는 관측 가능도를 지수족 분포(EFD)로 매개변수화하여, 비음수 실수, 유계 간격, 이산 카운트와 같은 다양한 출력 도메인에서 효율적인 근사 추론을 가능하게 한다. 타일러 근사와 EFD 매개변수 함수를 바탕으로 일반화된 추론 알고리즘을 유도함으로써, 모델 구축을 단순화하고 비표준 출력 분포를 가진 회귀 과제에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

A generalized Gaussian process model (GGPM) is a unifying framework that encompasses many existing Gaussian process (GP) models, such as GP regression, classification, and counting. In the GGPM framework, the observation likelihood of the GP model is itself parameterized using the exponential family distribution (EFD). In this paper, we consider efficient algorithms for approximate inference on GGPMs using the general form of the EFD. A particular GP model and its associated inference algorithms can then be formed by changing the parameters of the EFD, thus greatly simplifying its creation for task-specific output domains. We demonstrate the efficacy of this framework by creating several new GP models for regressing to non-negative reals and to real intervals. We also consider a closed-form Taylor approximation for efficient inference on GGPMs, and elaborate on its connections with other model-specific heuristic closed-form approximations. Finally, we present a comprehensive set of experiments to compare approximate inference algorithms on a wide variety of GGPMs.

연구 동기 및 목표

• 표준 회귀, 분류, 카운팅과 같은 다양한 가우시안 프로세스 모델을 지수족 분포를 사용해 하나의 프레임워크로 통합하는 것.
• 일반적인 형태로 가능도를 매개변수화함으로써, 과제에 특화된 출력 도메인을 위한 새로운 GP 모델 개발을 단순화하는 것.
• 모델에 특화된 유도 과정이 필요 없는, 오직 EFD 매개변수 함수에 의존하는 효율적인 근사 추론 알고리즘을 도출하는 것.
• 비음수 실수와 실수 구간을 위한 새로운 GP 모델을 통해 프레임워크의 유효성을 입증하는 것.
• 기존 히우리스틱 근사와 연결되고 일반화하는, 폐쇄형 타일러 근사 방법을 제공하는 것.

제안 방법

• 관측 가능도가 지수족 분포(EFD)를 통해 매개변수화된 일반화된 가우시안 프로세스 모델(GGPM)을 정식화하여, 다양한 GP 모델을 통합적으로 다룰 수 있도록 한다.
• 잠재 함수의 평균 주변에서 로그 가능도의 두 번째 차수 타일러 전개를 기반으로 일반적인 근사 추론 알고리즘을 도출하여, 효과적 잡음 항과 목표 항을 산출한다.
• EFD의 누적모멘트 함수와 캐논리컬 매개변수의 도함수를 사용하여, 추론의 핵심 구성 요소(예: 효과적 잡음, 목표)를 표현한다.
• 베르누이, 포isson, 감마, 역가우시안, 베타 등의 특정 분포에 일반 추론 프레임워크를 적용하여, 적절한 점에서의 전개를 통해 각각에 대한 폐쇄형 표현식을 도출한다.
• 라플라스 근사와 기대값 전파 원리를 활용하여 일반 추론 방정식을 유도하며, 유도 과정은 분석적 표현식을 통해 검증된다.
• 초모수 학습을 위해 영향도를 사용하고, 모델 매개변수에 대한 로그 증거의 기울기의 통합 유도를 제공한다.

실험 결과

연구 질문

• RQ1 표준 회귀와 분류를 초월한 다양한 출력 도메인을 위한 GP 모델 제작을 단순화할 수 있는 통합 프레임워크를 개발할 수 있는가?
• RQ2 지수족 분포의 일반 형태를 사용해 GGPM에 대한 효율적인 근사 추론을 어떻게 도출할 수 있는가?
• RQ3 제안된 타일러 근사와 기존의 모델 특화 GP 추론에서 사용되는 히우리스틱 근사 간의 관계는 무엇인가?
• RQ4 일반 추론 알고리즘이 비가우시안 및 유계 출력 분포를 가진 다양한 GGPM에서 어떻게 성능을 발휘하는가?
• RQ5 각 가능도 유형에 대해 수작업으로 유도가 필요 없이, 자동 모델 생성과 초모수 학습을 지원할 수 있는가?

주요 결과

• 제안된 GGPM 프레임워크는 지수족 내에서 가능도를 단순히 지정하기만 하면 비음수 실수와 실수 구간을 위한 새로운 GP 모델을 만들 수 있으며, 새로운 추론 알고리즘을 다시 유도할 필요 없이 구축이 가능하다.
• GGPM에 대한 폐쇄형 타일러 근사는 기존의 히우리스틱 근사(예: 포isson 및 베르누이 GP 모델에서 사용됨)를 일반화하고 통합한다.
• 베타 가능도의 경우, 딤타함수와 트리감마함수를 사용한 새로운 폐쇄형 근사가 도출되며, 이 효과적 잡음은 형상 매개변수 φ와 전개점에 의존한다.
• 기준 데이터셋에서 경쟁력 있는 성능을 달성하며, 실험 결과 일반 추론 알고리즘이 예측 정확도와 불확실성 캘리브레이션 측면에서 모델 특화 기준선과 동등하거나 뛰어나다는 것이 입증되었다.
• 초모수에 대한 영향도의 기울기가 폐쇄형으로 도출되어, 증거 최대화를 통한 효율적 최적화가 가능하다.
• 이론적 일반성과 실용적 유용성을 검증하기 위해, 꼬리가 두꺼운 분포와 유계 출력을 가진 모델을 포함한 광범위한 GGPM들에 대해 뛰어난 안정성과 효율성을 보였다.