[논문 리뷰] Additive Gaussian Processes Revisited

Xiaoyu Lu, Alexis Boukouvalas외 1명|arXiv (Cornell University)|2022. 06. 20.

Gaussian Processes and Bayesian Inference인용 수 5

한 줄 요약

이 논문은 추가 성분 간의 직교성을 강제하여 추가 GP 모델에서 발생하는 식별성 문제를 해결하는 새로운 가우시안 프로세스 커널인 직교 추가 커널(OAK)을 제안한다. 기능적 ANOVA 분해와 소볼 지수를 활용함으로써, 상대적으로 적은 수의 저차원 상호작용 항을 통해 뛰어난 예측 성능를 달성한다. 이는 기준 데이터셋에서 최신 기술 수준의 성능을 보이며, 모델의 해석 가능성도 유지한다.

ABSTRACT

Gaussian Process (GP) models are a class of flexible non-parametric models that have rich representational power. By using a Gaussian process with additive structure, complex responses can be modelled whilst retaining interpretability. Previous work showed that additive Gaussian process models require high-dimensional interaction terms. We propose the orthogonal additive kernel (OAK), which imposes an orthogonality constraint on the additive functions, enabling an identifiable, low-dimensional representation of the functional relationship. We connect the OAK kernel to functional ANOVA decomposition, and show improved convergence rates for sparse computation methods. With only a small number of additive low-dimensional terms, we demonstrate the OAK model achieves similar or better predictive performance compared to black-box models, while retaining interpretability.

연구 동기 및 목표

• 합성 가우시안 프로세스 모델에서 합산된 성분들이 유일하게 결정되지 않는 식별성 문제를 해결하기 위해.
• 고차원 상호작용 항을 낮은 차원의 추가 함수의 효율적인 집합으로 대체하여 모델 복잡도를 감소시키기 위해.
• 기능 성분의 직교 분해를 통해 설명 가능하면서도 강력한 회귀 및 분류 모델을 가능하게 하기 위해.
• OAK 커널을 사용하여 희소 GP 추론에서의 확장성과 수렴 속도를 향상시키기 위해.
• 분석적 소볼 지수를 통한 성분 기여도 측정에 체계적인 방법을 제공하기 위해.

제안 방법

• Durrande 등(2012)의 결과에서 유도된 제약 조건을 통해 추가 함수 간의 직교성을 강제하는 직교 추가 커널(OAK)을 제안한다.
• 기능적 ANOVA 분해를 사용하여 GP를 직교적이고 저차원의 함수(주효과 및 상호작용)의 합으로 표현한다.
• 소볼 지수를 성분 중요도의 분산 기반 측도로 사용하며, OAK 프레임워크 하에서 분석적으로 다룰 수 있다.
• 뉴턴-지라드 항등식을 적용하여 상호작용 항의 수가 기하급수적으로 증가하는 것을 방지하면서도 커널을 효율적으로 계산한다.
• 유도 점을 통한 희소 GP 추론에 OAK를 통합하여, 더 유리한 고유스펙트럼 성질을 활용해 수렴 속도를 향상시킨다.
• 스토캐스틱 최적화를 활용한 변분 추론을 적용하여 더 큰 데이터셋에 스케일링할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 직교성을 강제함으로써, 더 적고 저차원의 성분을 사용하여 추가 GP 모델에서 더 나은 예측 성능를 달성할 수 있는가?
• RQ2 중첩된 성분을 가진 추가 GP 모델에서 발생하는 식별성 문제를 직교성 강제 조건이 해결할 수 있는가?
• RQ3 OAK 커널 하에서 소볼 지수를 분석적으로 계산할 수 있는가? 이를 통해 신뢰할 수 있는 성분 기여도 추정이 가능한가?
• RQ4 기존의 제곱지수 커널과 비교해 OAK 커널이 희소 GP 추론에서 수렴 속도를 향상시키는가?
• RQ5 실제 세계 데이터셋에서 OAK는 XGBoost나 신경망과 같은 블랙박스 모델을 능가하면서도 해석 가능성을 유지할 수 있는가?

주요 결과

• pumadyn 데이터셋에서 OAK 모델은 원래의 추가 GP 모델과 전체 제곱지수 GP 모델과 유사하거나 더 뛰어난 예측 성능를 달성했으며, 단지 세 개의 성분(두 개의 일차항과 하나의 이차항 상호작용 함수)만을 사용했다.
• pumadyn 데이터셋에서 총 분산의 99%가 단지 세 개의 항으로 설명되었으며, 이는 높은 모델의 단순성과 해석 가능성의 증거이다.
• SUSY 물리 데이터셋에서 OAK는 단지 열 개의 일차원 및 두 개의 이차원 성분만을 사용하여 드롭아웃 기반 신경망 베이스라인을 능가했다.
• 고객 이탈 데이터셋에서 OAK는 XGBoost를 능가했으며, 저차원이고 해석 가능한 성분을 제공하여 실질적인 비즈니스 통찰을 제공했다.
• OAK 커널는 더 유리한 고유스펙트럼 덕분에 희소 GP 추론에서 수렴 속도가 향상되어 대규모 데이터셋에서 더 빠른 학습이 가능했다.
• 분류 작업에서 OAK는 여러 베이스라인보다 평균 테스트 정확도(0.863)와 로그우도(−0.306)가 높았으며, 20개 데이터셋 평균 순위는 4.552였다.