[논문 리뷰] Multi-class Gaussian Process Classification with Noisy Inputs

Carlos Villacampa-Calvo, Bryan Zaldívar외 2명|arXiv (Cornell University)|2020. 01. 28.

Gaussian Processes and Bayesian Inference참고 문헌 63인용 수 22

한 줄 요약

이 논문은 변분 추론을 사용하여 입력 노이즈를 고려하는 다중 클래스 가우시안 프로세스 분류기를 제안하며, 예측 불확실성 추정을 향상시킨다. 주요 기여는 입력 노이즈가 알려져 있거나 학습되는 경우, 분류 정확도를 희생시키지 않고도 기존 GP 분류기보다 더 높은 테스트 로그우도를 달성하는 것이다.

ABSTRACT

It is a common practice in the machine learning community to assume that the observed data are noise-free in the input attributes. Nevertheless, scenarios with input noise are common in real problems, as measurements are never perfectly accurate. If this input noise is not taken into account, a supervised machine learning method is expected to perform sub-optimally. In this paper, we focus on multi-class classification problems and use Gaussian processes (GPs) as the underlying classifier. Motivated by a data set coming from the astrophysics domain, we hypothesize that the observed data may contain noise in the inputs. Therefore, we devise several multi-class GP classifiers that can account for input noise. Such classifiers can be efficiently trained using variational inference to approximate the posterior distribution of the latent variables of the model. Moreover, in some situations, the amount of noise can be known before-hand. If this is the case, it can be readily introduced in the proposed methods. This prior information is expected to lead to better performance results. We have evaluated the proposed methods by carrying out several experiments, involving synthetic and real data. These include several data sets from the UCI repository, the MNIST data set and a data set coming from astrophysics. The results obtained show that, although the classification error is similar across methods, the predictive distribution of the proposed methods is better, in terms of the test log-likelihood, than the predictive distribution of a classifier based on GPs that ignores input noise.

연구 동기 및 목표

• 입력 데이터가 노이즈가 없는 것으로 가정하는 기계학습의 일반적인 가정이 입력 노이즈가 존재할 경우 성능 저하를 초래할 수 있음을 다루기 위해.
• 입력 노이즈를 명시적으로 모델링하는 다중 클래스 가우시안 프로세스 분류기를 개발하여 예측 불확실성과 견고성을 향상시키기 위해.
• 합성 및 실세계 데이터를 사용하여 알려진 또는 학습된 입력 노이즈가 분류 성능에 미치는 영향을 평가하기 위해.
• 입력 노이즈를 통합할 경우, 특히 결정 경계 근처에서 보다 캘리브레이션된 예측 분포를 얻을 수 있음을 입증하기 위해.

제안 방법

• 입력 노이즈를 다루기 위해 잠재적인 무노이즈 입력을 변분 분포로 모델링하는 다중 클래스 GP 분류기(MGP)를 제안한다.
• 각 데이터 포인트별로 입력 노이즈 분산을 학습하는 새로운 방법인 NIMGP를 도입한다.
• 입력 노이즈 분산을 데이터에서 예측하는 신경망 기반 변형인 NIMGP-NN을 활용하여 유연하고 입력에 따라 달라지는 노이즈 모델링을 가능하게 한다.
• 입력 노이즈 분산을 하이퍼파rameter로 간주하고 학습 중 최적화하는 고정 최적화 변형인 NIMGP-FO를 개발한다.
• GP 분류에서의 비가역적 적분을 해결하기 위해 잠재 변수의 사후분포를 변분 추론을 통해 근사함으로써 효율적인 학습을 가능하게 한다.
• 노이즈에 대한 사전 지식을 직접 분산 파rameter에 설정함으로써 노이즈 지식이 가용할 경우 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 다중 클래스 GP 분류에서 입력 노이즈를 모델링하면 기존 GP 분류기보다 예측 로그우도가 향상되는가?
• RQ2 각 데이터 포인트별로 입력 노이즈 분산을 학습하는 것이 더 캘리브레이션된 예측 분포를 제공하는가?
• RQ3 입력 노이즈에 대한 사전 지식이 다중 클래스 GP 모델의 분류 성능에 어떤 영향을 미치는가?
• RQ4 입력 노이즈 모델링의 성능 향상이 결정 경계 근처 또는 고노이즈 환경에서 더 두드러지는가?
• RQ5 학습된, 알려진, 신경망 기반의 다양한 입력 노이즈 모델링 전략 간 예측 정확도 및 불확실성 캘리브레이션 측면에서의 성능 비교는 어떻게 되는가?

주요 결과

• 우주과학 데이터셋에서 NIMGP-NN 방법은 유사한 테스트 오차를 유지하면서도 테스트 로그우도 0.280 ± 0.012를 기록하여 MGP(0.381 ± 0.021)보다 유의미하게 높았다.
• 4개 클래스의 합성 데이터에서 NIMGP-NN은 테스트 오차 0.284 ± 0.0052를 기록하여 MGP(0.293 ± 0.005)와 유사했지만, 로그우도 측면에서 유의미하게 높았다.
• 사전에 입력 노이즈가 알려진 경우, 사전 노이즈 정보를 활용한 NIMGP-NN 방법은 우주과학 데이터셋에서 테스트 로그우도 0.280 ± 0.012를 기록하여 모든 다른 방법보다 뛰어났다.
• 노이즈 분산을 최적화하는 NIMGP-FO 변형은 탐지 및 곡률 유의미성 속성이 제거된 우주과학 데이터셋에서 테스트 로그우도 0.309 ± 0.015를 기록하여 MGP(0.381 ± 0.021)를 초월했다.
• 혼동 행렬 분석 결과, NIMGP-NN과 NIMGP-FO는 특히 노이즈가 모델링된 경우 희귀 클래스(psr 등)에 대해 MGP보다 더 높은 예측 신뢰도를 보였다.
• NIMGP-NN의 파ram터 수는 학습 포인트 수와 신경망 크기에 따라 증가하지만, M ≪ N 조건에서는 여전히 실용적인 범위에 머물렀다.