[논문 리뷰] Dirichlet-based Gaussian Processes for Large-scale Calibrated Classification

Dimitrios Milios, Raffaello Camoriano외 3명|arXiv (Cornell University)|2018. 05. 28.

Gaussian Processes and Bayesian Inference인용 수 20

한 줄 요약

이 논문은 표준 가우시안 프로세스 분류(GPC)의 빠르고 校정된 대안으로, Dirichlet 기반 가우시안 프로세스 분류(GPD)를 제안한다. 클래스 레이블을 Dirichlet 분포로 모델링하고, 로그정규 근사법을 통해 변환함으로써, 반복적인 사후 근사가 필요 없는 효율적인 GP 회귀를 가능하게 하여, GPC 수준의 校정성과 정확도를 훨씬 낮은 계산 비용으로 달성한다.

ABSTRACT

In this paper, we study the problem of deriving fast and accurate classification algorithms with uncertainty quantification. Gaussian process classification provides a principled approach, but the corresponding computational burden is hardly sustainable in large-scale problems and devising efficient alternatives is a challenge. In this work, we investigate if and how Gaussian process regression directly applied to the classification labels can be used to tackle this question. While in this case training time is remarkably faster, predictions need be calibrated for classification and uncertainty estimation. To this aim, we propose a novel approach based on interpreting the labels as the output of a Dirichlet distribution. Extensive experimental results show that the proposed approach provides essentially the same accuracy and uncertainty quantification of Gaussian process classification while requiring only a fraction of computational resources.

연구 동기 및 목표

• 대규모 데이터셋에 적합한 확장 가능한 분류 방법을 개발하고, 이를 통해 신뢰도 높은 불확실성 정량화를 실현한다.
• 반복적인 사후 근사가 필요한 고비용인 표준 가우시안 프로세스 분류(GPC)의 높은 계산 비용 문제를 해결한다.
• 일반적으로 校정되지 않는 직접적인 GP 회귀를 레이블에 적용할 수 있는가를 탐구한다.
• Dirichlet 모델링을 통한 사전 처리 레이블 변환을 통해, 후처리 校정 단계 없이도 빠르고 정확하며 잘 校정된 예측을 가능하게 한다는 것을 입증한다.

제안 방법

• 이 방법은 분류 레이블을 Dirichlet 분포의 실현값으로 모델링하여, 클래스 확률에 대한 확률적 해석을 가능하게 한다.
• 레이블를 잠재 공간으로 변환하여, 이 공간에서 레이블들이 감마 분포를 따른다고 가정함으로써, 가우시안 프로세스 회귀를 수행한다.
• 잠재 변수로 사용되는 감마 분포는 로그정규 분포로 근사하여, 로그 공간에서 분석적 가우시안 프로세스 추론을 가능하게 한다.
• 이 방법은 레이블 변환을 고정된 사전 처리 단계로 간주함으로써, GPC와 달리 반복적인 사후 근사가 필요 없게 된다.
• 최종 분류기는 변환된 레이블에 대한 GP 회귀를 사용하며, 초모수는 우도 최대화를 통해 최적화된다.
• 이 방법은 대규모 데이터셋에서의 확장성을 향상시키기 위해 스퍼스 GP 근사법을 사용하여 구현된다.

실험 결과

연구 질문

• RQ1 후처리 校정 없이도, 분류 레이블에 직접 GP 회귀를 적용해 잘 校정된 결과를 얻을 수 있는가?
• RQ2 레이블에 대한 체계적인 확률적 변환을 통해, GP 회귀를 사용해 빠르고 정확하며 잘 校정된 분류를 실현할 수 있는가?
• RQ3 정확도, 校정성, 계산 비용 측면에서 제안된 방법의 성능이 표준 GPC 및 최소 제곱 회귀와 비교해 어떻게 되는가?
• RQ4 제안된 방법이 가져오는 계산 절감 효과를 활용해 스퍼스 GP 근사의 성능을 향상시킬 수 있는가?

주요 결과

• GPD는 표준 GPC와 최소 제곱 회귀(GPR) 사이의 분류 정확도를 확보하며, 여러 데이터셋에서 GPC와 유사하거나 이를 초월하는 성능을 보였다.
• 기대 校정 오차(ECE) 측정 기준으로, 후처리 校정 없이도 GPC 수준과 유사한 잘 校정된 예측을 제공한다.
• GPC 대비 훈련 시간을 수 개의 주기로 단축시켜, letter 및 mocap와 같은 대규모 데이터셋에서 최대 100배의 속도 향상을 달성했다.
• 계산 절감 효과 덕분에 스퍼스 GP 근사에서 더 많은 유도점( inducing points)을 사용할 수 있었고, 이로 인해 동일한 유도점 수에서 GPC보다 낮은 오차율을 기록했다.
• SUSY 데이터셋에서 GPD는 테스트 오차율 19.8%를 기록하여, GPC(20.1%)와 GPR(20.5%)를 모두 능가했으며, 훨씬 더 빠른 속도를 확보했다.
• GPD의 예측 분포는 GPC와 다름을 보이며, 이는 별개의 모델링 접근법을 의미한다. 이는 대규모 환경에서의 불확실성 정량화에 유망한 가능성을 보여준다.