[논문 리뷰] Multi-Class Gaussian Process Classification Made Conjugate: Efficient Inference via Data Augmentation

Théo Galy-Fajou, Florian Wenzel외 2명|arXiv (Cornell University)|2019. 05. 23.

Gaussian Processes and Bayesian Inference인용 수 12

한 줄 요약

이 논문은 조건부 공액성을 달성하기 위해 데이터 증강을 가능하게 하는 수정된 로지스틱-소프트맥스 가능도를 사용하는 새로운 다중 클래스 가우시안 프로세스 분류 모델을 제안한다. 이 구조를 활용해 저자들은 폐쇄형 업데이트를 갖는 빠르고 안정적인 변분 추론 방법을 개발하였으며, 최신 기법들보다 최대 두 배수 빠른 훈련 속도를 달성하면서도 잘 校정된 불확실성 추정과 경쟁 가능한 예측 성능를 유지한다.

ABSTRACT

We propose a new scalable multi-class Gaussian process classification approach building on a novel modified softmax likelihood function. The new likelihood has two benefits: it leads to well-calibrated uncertainty estimates and allows for an efficient latent variable augmentation. The augmented model has the advantage that it is conditionally conjugate leading to a fast variational inference method via block coordinate ascent updates. Previous approaches suffered from a trade-off between uncertainty calibration and speed. Our experiments show that our method leads to well-calibrated uncertainty estimates and competitive predictive performance while being up to two orders faster than the state of the art.

연구 동기 및 목표

• 다중 클래스 가우시안 프로세스 분류에서 불확실성의 校정성과 계산 효율성 사이의 상충 관계를 해결하기 위해.
• 샘플링 또는 수치적 적분을 피하는 다중 클래스 GP 모델을 위한 확장 가능한 추론 방법을 개발하기 위해.
• 빠른 속도를 위해 점진적인 분류를 포기하는 기존 기법들(예: 로버스트맥스 가능도)과 비교해 더 나은 불확실성 校정성을 확보하기 위해.
• 데이터 증강을 통한 조건부 공액성을 통해 많은 클래스를 가진 대규모 데이터셋에서도 효율적인 추론을 가능하게 하기 위해.
• 기존의 변분 및 샘플링 기반 추론 방법들에 대한 안정적이고 확장 가능한 대안을 제공하기 위해.

제안 방법

• 잠재 변수 모델에서 데이터 증강과 조건부 공액성을 가능하게 하는 수정된 로지스틱-소프트맥스 가능도 함수를 도입한다.
• 비공액 가능도를 조건부 공액 형태로 변환하기 위해 데이터 증강 전략을 적용하여 사후 추론을 단순화한다.
• 모든 업데이트가 폐쇄형으로 이루어지는 블록 좌표 상승 기반의 변분 추론 알고리즘을 유도하며, 수치 적분이나 샘플링을 피한다.
• 확장성을 위해 미니배치 기반의 확률적 경량 최적화를 적용한다.
• 작은 또는 중간 크기의 데이터셋에서 정확한 사후 샘플링을 위해 추가로 깁스 샘플링 기반의 대안을 제공한다.
• 유도 점을 활용해 확장 가능한 추론을 가능하게 하며, 하이퍼파rameter는 아담 최적화를 통해 최적화한다.

실험 결과

연구 질문

• RQ1 다중 클래스 GP 분류에서 조건부 공액성을 달성할 수 있도록 수정된 소프트맥스 가능도를 설계할 수 있는가?
• RQ2 유도된 조건부 공액 모델이 샘플링이나 수치적 적분 없이도 빠르고 안정적이며 확장 가능한 변분 추론을 가능하게 하는가?
• RQ3 제안된 방법이 로버스트맥스 가능도와 같은 기존 기법들보다 더 나은 불확실성 校정성을 확보할 수 있는가?
• RQ4 제안된 방법의 추론 속도와 예측 성능는 최신 기술 대비 어떻게 비교되는가?
• RQ5 이러한 데이터 증강 전략은 베이지안 신경망과 같은 다른 베이지안 모델로도 확장 가능한가?

주요 결과

• 제안된 방법은 EP 기반 히브리시드 모델보다 최대 두 배수 빠른 훈련 속도를 달성했으며, SVI 기반 로버스트맥스 모델보다 약 10배 빠른 속도를 기록했다.
• 음의 로그가능도 측면에서 제안된 방법은 로버스트맥스 모델을 일관되게 능가하여 더 나은 불확실성 校정성을 보였다. 유일한 예외는 쉽게 분리 가능한 MNIST 데이터셋이었다.
• 예측 오차는 모든 방법에서 유사하게 나타나, 불확실성 校정성의 차이에도 불구하고 경쟁 가능한 예측 성능를 유지함을 확인했다.
• 기울기 근사 노이즈를 피하는 폐쇄형 업데이트 덕분에, SVI 기반 로버스트맥스 방법보다 추론 과정이 훨씬 더 안정적이었다.
• 깁스 샘플링 변형은 정확한 사후 샘플을 제공하여, 더 작은 데이터셋에서 정확한 추론을 위한 증명된 유효성을 입증했다.
• 특히 불확실성의 정확한 측정이 중요한 오버랩되는 클래스를 가진 데이터셋에 특히 적합하다.