[논문 리뷰] Additive Gaussian Processes

David Duvenaud, Hannes Nickisch외 1명|arXiv (Cornell University)|2011. 12. 19.

Gaussian Processes and Bayesian Inference참고 문헌 15인용 수 203

한 줄 요약

이 논문은 모든 차수의 구조적 추가 상호작용을 유연하게 허용함으로써 일반선형모형(GAMs)과 표준 제곱형상성 GP 모델을 일반화하는 새로운 GP 모델인 Additive Gaussian Processes(AGP)를 소개한다. 이 방법은 O(D)개의 초모수만을 사용하여 지수적 수의 상호작용 항을 효율적으로 계산하며, 학습된 상호작용 차수 분산을 통해 예측 성능을 최고 수준으로 끌어올리고 해석 가능성을 향상시킨다.

ABSTRACT

We introduce a Gaussian process model of functions which are additive. An additive function is one which decomposes into a sum of low-dimensional functions, each depending on only a subset of the input variables. Additive GPs generalize both Generalized Additive Models, and the standard GP models which use squared-exponential kernels. Hyperparameter learning in this model can be seen as Bayesian Hierarchical Kernel Learning (HKL). We introduce an expressive but tractable parameterization of the kernel function, which allows efficient evaluation of all input interaction terms, whose number is exponential in the input dimension. The additional structure discoverable by this model results in increased interpretability, as well as state-of-the-art predictive power in regression tasks.

연구 동기 및 목표

• 입력 변수 간의 저차수 및 고차수 상호작용을 구조적이고 해석 가능한 방식으로 포괄하는 가우시안 프로세스 모델을 개발하는 것.
• 일반선형모형(GAMs, 1차 상호작용)과 표준 SE-GP(전체 차수 상호작용)를 하나의 통합 프레임워크로 일반화하는 것.
• 지수적 수의 상호작용 항이 존재함에도 불구하고 초모수 및 상호작용 차수 분산을 효율적으로 학습할 수 있도록 하는 것.
• 실제 데이터셋에서 중요한 상호작용 차수를 식별함으로써 모델의 해석 가능성을 향상시키는 것.
• 계산 가능성을 유지하면서도 기존 방법들인 HKL과 표준 SE-GP를 초월하는 예측 정확도를 달성하는 것.

제안 방법

• 모델은 첫 번째 상호작용에서 D차수 상호작용에 이르기까지 가능한 모든 상호작용 차수에 대해 추가적인 항을 포함하는 커널 함수를 사용한다.
• 각 상호작용 차수는 분산 초모수 σ²ₙ과 일변수 기저 커널 kᵢ(xᵢ, x′ᵢ)의 곱으로 매개변수화된다.
• 모든 D개 중 n개를 선택하는 항을 직접 합산하지 않고도 효율적인 재귀적 분해를 통해 커널을 계산한다.
• 초모수 학습은 우도 최대화를 통해 수행되며, 이는 베이지안 계층적 커널 학습(HKL)을 가능하게 한다.
• EP 또는 라플라스 근사법을 사용한 GP 추론을 통해 회귀 및 분류 모두를 지원한다.
• 상수 평균 함수는 커널과 함께 적합되며, 실용적 사용을 위한 효율적인 코드로 구현되어 있다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스 모델이 계산 가능성을 유지하면서도 모든 차수의 구조적 추가 상호작용을 효과적으로 포착할 수 있는가?
• RQ2 상호작용 차수 분산을 학습할 수 있는 능력이 표준 GP 모델에 비해 예측 성능을 향상시키는가?
• RQ3 예측 정확도 및 초모수 학습 측면에서 제안된 모델이 계층적 커널 학습(HKL)과 어떻게 비교되는가?
• RQ4 실제 회귀 과제에서 추가 구조가 모델의 해석 가능성에 얼마나 기여하는가?
• RQ5 저차수 상호작용 패tern을 학습함으로써 모델이 새로운 입력 조합으로 일반화하는 데 얼마나 효과적인가?

주요 결과

• Additive GP는 저차수 상호작용 구조를 가진 데이터셋에서 회귀 과제에서 최고 수준의 성능을 달성하였으며, GP-GAM 및 SE-GP 모델을 모두 능가하였다.
• pumadyn-8nh 및 housing 데이터셋에서 Additive GP는 각각 최저 평균제곱오차(0.316 및 0.102)를 기록하여 GP-GAM 및 HKL를 뚜렷이 앞섰다.
• 음의 로그우도(NLL) 비교에서 Additive GP는 모든 데이터셋에서 SE-GP 및 GP-GAM와 동등하거나 그 이상의 성능를 보였으며, bach 및 housing 데이터셋에서 최저 NLL를 기록하였다.
• 모델는 어떤 경우에도 다른 방법보다 유의미하게 열 劣하지 않았고, 일부 경우에서는 유의미하게 더 나은 성능를 보였으며, 이는 강건성과 뛰어난 일반화 능력을 시사한다.
• 분류 과제에서는 Additive GP가 유방 및 sonar 데이터셋에서 최저 퍼센트 오차를 기록하였으며, 한 데이터셋 제외 전부에서 최저 NLL를 기록하여 강력한 분류 성능를 입증하였다.
• HKL과의 비교에서 예측 정확도는 유사했지만, Additive GP는 HKL가 초모수 조정을 위해 교차검증에 의존하는 것과는 달리 더 뛰어난 예측 정확도를 확보하였다.