[논문 리뷰] Efficient Modeling of Latent Information in Supervised Learning using Gaussian Processes

Zhenwen Dai, Mauricio A. Álvarez외 1명|arXiv (Cornell University)|2017. 05. 27.

Gaussian Processes and Bayesian Inference참고 문헌 11인용 수 7

한 줄 요약

이 논문은 감추진 조건 정보를 공유된 잠재 공간에 통합함으로써 지도학습에서 여러 조건을 동시에 모델링하는 베이지안 모델인 잠재변수 다중출력 가우시안 프로세스(LVMOGP)를 제안한다. 크로네커 구조를 가진 사후분포를 사용한 변분 추론을 통해 LVMOGP는 스퍼스 가우시안 프로세스 수준의 계산 효율성을 달성하며, 소수의 데이터 포인트로도 새로운 조건에 대한 강건한 일반화를 가능하게 하여, 합성 및 실세계 회귀 과제에서 기존의 GP 방법들을 크게 능가한다.

ABSTRACT

Often in machine learning, data are collected as a combination of multiple conditions, e.g., the voice recordings of multiple persons, each labeled with an ID. How could we build a model that captures the latent information related to these conditions and generalize to a new one with few data? We present a new model called Latent Variable Multiple Output Gaussian Processes (LVMOGP) and that allows to jointly model multiple conditions for regression and generalize to a new condition with a few data points at test time. LVMOGP infers the posteriors of Gaussian processes together with a latent space representing the information about different conditions. We derive an efficient variational inference method for LVMOGP, of which the computational complexity is as low as sparse Gaussian processes. We show that LVMOGP significantly outperforms related Gaussian process methods on various tasks with both synthetic and real data.

연구 동기 및 목표

• 다른 시나리오(예: 다른 화자 또는 카메라 모델)에서 수집된 데이터를 고려하여 지도학습에서 여러 조건을 모델링하는 도전 과제를 해결하기 위해.
• 테스트 시에 소수의 데이터 포인트만으로도 새로운, 관측되지 않은 조건에 효과적으로 일반화할 수 있도록 하기 위해.
• 입력 특징만으로는 포착되지 않는 조건별 변동성을 모델링하여, 이를 노이즈로 간주하거나 독립된 모델을 사용하는 것과 같은 함정을 피하기 위해.
• 스퍼스 가우시안 프로세스와 유사한 스케일링 특성을 가지되, 조건 간 상관관계를 포착하는 계산적으로 효율적인 추론 방법을 개발하기 위해.
• 기존의 LMC와 같은 방법들이 고차원의 공분산 매트릭스로 인해 과적합 문제가 발생하는 것을 해결하기 위해, 조건의 저차원 잠재 표현을 학습하는 것

제안 방법

• LVMOGP는 각 점이 별개의 조건을 나타내는 잠재 공간을 도입함으로써 가우시안 프로세스를 확장하여, 여러 조건을 공동으로 모델링한다.
• 계산 복잡도를 감소시키기 위해 변분 사후분포에서 크로네커 곱 구조를 사용하며, 이는 독립 출력을 가진 스퍼스 GP와 동일한 복잡도를 유지한다.
• 가우시안 프로세스 함수와 잠재 조건 변수에 대한 효율적인 베이지안 추론을 위해 폐쇄형 형태의 변분 하한을 유도한다.
• 잠재 변수는 학습 중에 추론되며, 이는 새로운 조건을 예측할 때 잠재 공간 내의 사후 위치를 추정하는 데 사용된다.
• 결측 데이터를 지원하며, 조건 의존적인 상관관계를 모델링함으로써 다변량 회귀 및 보간 작업에 적용 가능하다.
• 잠재 공간에서의 자동 관련성 결정(ARD)을 활용하여 조건 변동의 의미 있는 저차원 표현을 학습한다.

실험 결과

연구 질문

• RQ1 조건에 특화된 변동성을 노이즈로 간주하지 않고, 새로운 조건으로의 일반화를 가능하게 하면서도 지도학습에서 모델링할 수 있는가?
• RQ2 소수의 데이터 포인트만으로 새로운 조건의 잠재 표현을 효율적으로 추론할 수 있는가?
• RQ3 공유된 잠재 구조를 가진 다수의 상관관계 있는 출력을 모델링하면서도, 스퍼스 가우시안 프로세스 수준의 계산 효율성을 달성할 수 있는가?
• RQ4 완전 랭크 공분산 매트릭스 방법 대비, 조건의 저차원 잠재 공간을 학습함으로써 일반화 성능 향상과 과적합 감소를 달성할 수 있는가?
• RQ5 저데이터 환경과 막대한 결측 데이터(예: 센서 보간) 상황에서 모델의 성능은 어떠한가?

주요 결과

• 200개의 총 데이터 포인트와 4개의 조건을 가진 합성 데이터에서 LVMOGP는 테스트 RMSE 0.30±0.04를 기록하여 GP-ind(0.43±0.06)와 LMC(0.47±0.09)를 크게 앞섰다.
• 25개의 조건과 희소 데이터를 가진 서보 데이터셋에서 LVMOGP는 RMSE 0.52±0.16을 기록하여 GP-OH(0.73±0.26), LMC(0.69±0.35), GP-ind(1.30±0.31)를 모두 능가했다.
• 95%의 결측 데이터를 가진 센서 보간 과제에서 LVMOGP는 RMSE 0.45±0.02를 기록하여 GP-ind(0.85±0.09)와 LMC(0.59±0.21)를 모두 앞섰다.
• 저데이터 조건에서 단 한 개의 학습 데이터 포인트만으로도 LVMOGP는 비선형 함수를 성공적으로 외삽하여 강력한 일반화 능력을 입증했다.
• 고차원 공분산 매트릭스로 인한 과적합 문제를 겪는 LMC와는 달리, 반복 실험에서 결과의 분산이 낮아, LVMOGP가 과적합을 피했다는 것이 입증되었다.
• 크로네커 구조를 가진 변분 사후분포의 사용으로, 스퍼스 GP와 동일한 계산 복잡도를 확보하여 대규모 데이터셋에 대한 확장성이 보장되었다.