[논문 리뷰] Semi-described and semi-supervised learning with Gaussian processes

Andreas Damianou, Neil D. Lawrence|arXiv (Cornell University)|2015. 09. 03.

Gaussian Processes and Bayesian Inference참고 문헌 16인용 수 20

한 줄 요약

이 논문은 부분적으로 관측되거나 불확실한 입력 특징을 가진 가우시안 프로세스 학습 문제를 해결하기 위한 변분 베이지안 프레임워크를 제안한다. 이는 이전에 비선형 불확실성 전파로 인해 해결이 불가능했던 문제를 다루며, 비선형 매핑을 통해 신뢰할 수 있는 불확실성 전파를 가능하게 한다. 입력 불확실성을 변분 제약 조건을 통해 모델링하고 근사 사후 분포에서 샘플링함으로써, 특히 레이블이 부족한 경우 회귀, 분류, 반복 예측 작업에서 성능을 크게 향상시킨다.

ABSTRACT

Propagating input uncertainty through non-linear Gaussian process (GP) mappings is intractable. This hinders the task of training GPs using uncertain and partially observed inputs. In this paper we refer to this task as "semi-described learning". We then introduce a GP framework that solves both, the semi-described and the semi-supervised learning problems (where missing values occur in the outputs). Auto-regressive state space simulation is also recognised as a special case of semi-described learning. To achieve our goal we develop variational methods for handling semi-described inputs in GPs, and couple them with algorithms that allow for imputing the missing values while treating the uncertainty in a principled, Bayesian manner. Extensive experiments on simulated and real-world data study the problems of iterative forecasting and regression/classification with missing values. The results suggest that the principled propagation of uncertainty stemming from our framework can significantly improve performance in these tasks.

연구 동기 및 목표

• 비선형 불확실성 전파로 인해 이전에는 해결이 불가능했던, 부분적으로 관측되거나 불확실한 입력 특징을 가진 가우시안 프로세스 학습 문제를 해결하기 위해.
• 반감독 학습(레이블이 없는 출력)과 반기술판별 학습(입력이 누락되거나 불확실한 경우)을 하나의 베이지안 GP 프레임워크 안에서 통합하기 위해.
• 완전한 베이지안 성격을 유지하면서도, 레이블이 없는 입력을 신뢰할 수 있는 확률적 방법으로 보정할 수 있도록 하기 위해.
• 예측 시퀀스 전역에서 불확실성 전파를 모델링함으로써, 자동회귀 예측 작업으로 이 프레임워크를 확장하기 위해.
• 입력과 출력의 누락을 동시에 다룰 수 있는 일관된 변분 근사 안에서 스케일러블하고 병렬 처리 가능한 추론 알고리즘을 개발하기 위해.

제안 방법

• 이 방법은 잠재 입력에 대한 사후 분포를 근사하기 위해 변분 추론을 사용하며, 훈련 및 테스트 입력에서의 불확실성을 명시적으로 모델링한다.
• 관측된 노이즈가 있거나 부분적인 입력 값에 기반하여 입력 사후 분포를 조건화하기 위해 변분 제약 메커니즘을 도입하여, 일관된 불확실성 전파를 가능하게 한다.
• Titsias와 Lawrence(2010)의 변분 GP 접근법을 사용하여, 근사 사후 밀도를 통해 비선형 GP 매핑을 통한 입력 불확실성 전파를 수행한다.
• 반감독 학습의 경우, 모든 입력(레이블이 있는 및 없는)에서 저차원 임베딩을 학습한 후, 변분 사후에서 샘플링하여 작은 레이블 집합을 채운다.
• 모델의 과적합 위험을 증가시키지 않으면서도, 각 데이터 포인트와 차원에 대해 서로 다른 수준의 입력 불확실성을 지원할 수 있다. 이는 불확실성을 모델 파rameter가 아닌 변분 파rameter를 통해 모델링하기 때문이다.
• 이 프레임워크는 병렬 추론 알고리즘에 통합되어 있어, 실세계 데이터셋에 대한 효율적 훈련과 확장성을 보장한다.

실험 결과

연구 질문

• RQ1 가우시안 프로세스 모델은 부분적으로 관측되거나 불확실한 입력 특징을 완전한 베이지안 방식으로 효과적으로 다룰 수 있는가?
• RQ2 부분적으로 관측된 입력에서 유래한 불확실성을 비선형 GP 매핑을 통해 처리 가능한 방식으로 전파할 수 있는가?
• RQ3 통합된 프레임워크를 통해 반감독 학습(레이블이 없는 출력)과 반기술판별 학습(입력 누락)을 하나의 GP 기반 접근법으로 동시에 해결할 수 있는가?
• RQ4 신뢰할 수 있는 불확실성 전파 방식은 레이블이 제한된 상황에서 회귀, 분류, 반복 예측 작업의 성능을 향상시키는가?
• RQ5 제안된 방법은 GP-LVM 및 PCA와 같은 표준 기준 모델에 비해 낮은 데이터 환경에서 어떻게 성능을 냈는가?

주요 결과

• 제안된 방법은 특히 레이블 데이터가 부족한 경우, 표준 GP-LVM 및 PCA와 같은 기준 방법보다 뚜렷이 뛰어난 성능을 보였다.
• USPS 손글씨 숫자 데이터셋에서, 작은 수의 레이블 예제만 사용하더라도 기준 방법에 비해 성능 향상이 뚜렷했으며, 오차 감소가 관찰되었다.
• 입력 공간의 변분 사후에서 다수의 샘플을 사용한 결과, 평균 값만 사용한 경우보다 더 뛰어난 성능을 달성했으며, 이는 불확실성 인식 샘플링의 가치를 입증한다.
• 극도로 낮은 데이터 가용성 상황에서도 잘 작동하여, 레이블이 극히 적은 상황에서의 강건성을 보였으며, 히우리스틱 자기학습 기반 기준 방법보다 뛰어난 성능을 보였다.
• 오일 플로우 데이터셋에서의 결과는 여러 시행에 걸쳐 일관된 향상을 확인했으며, 비레이블 데이터를 효과적으로 활용하여 분류 정확도를 향상시켰다.
• 이 프레임워크는 자동회귀 예측을 반기술판별 학습 문제로 모델링하여, 예측 시퀀스 전역에서 불확실성 전파를 성공적으로 수행했다.