[논문 리뷰] Active Learning of Linear Embeddings for Gaussian Processes

Roman Garnett, Michael A. Osborne외 1명|arXiv (Cornell University)|2013. 10. 24.

Gaussian Processes and Bayesian Inference참고 문헌 29인용 수 30

한 줄 요약

이 논문은 고차원 공간에서 동시에 저차원 선형 임베딩을 발견하고 가우시안 프로세스 회귀를 수행하기 위한 액티브 러닝 방법을 제안한다. 임베딩의 불확실성에 대해 라플라스 근사법을 적용하고, GP 초파rameter에 대한 새로운 근사적 적분 기법을 결합함으로써, 318차원에 이르는 합성 및 실세계 데이터셋에서 뛰어난 예측 성능을 보이며 데이터 효율적이고 강건한 학습을 달성한다.

ABSTRACT

We propose an active learning method for discovering low-dimensional structure in high-dimensional Gaussian process (GP) tasks. Such problems are increasingly frequent and important, but have hitherto presented severe practical difficulties. We further introduce a novel technique for approximately marginalizing GP hyperparameters, yielding marginal predictions robust to hyperparameter mis-specification. Our method offers an efficient means of performing GP regression, quadrature, or Bayesian optimization in high-dimensional spaces.

연구 동기 및 목표

• 표준 방법이 비가역성이 되는 고차원 입력 공간에서 가우시안 프로세스 회귀를 수행하는 데 도전하는 문제를 해결하기 위해.
• 함수와 그 배경이 되는 저차원 선형 임베딩을 동시에 학습하는 액티브 러닝 프레임워크를 개발하기 위해.
• GP 초파rameter의 근사적 적분을 통해 초파라미터 잘못 설정에 대한 강건성을 향상시키기 위해.
• 유의미한 저차원 구조를 발견함으로써 고차원 작업에서 효율적인 베이지안 최적화, 회귀 및 적분을 가능하게 하기 위해.
• 임베딩과 함수 양쪽에서의 불확실성을 동시에 줄이는 정보가 풍부한 평가 점을 식별하는 확장 가능한, 원칙적인 방법을 제공하기 위해.

제안 방법

• 선형 임베딩 행렬 R에 대한 사후 분포를 추정하기 위해 라플라스 근사를 사용하여 임베딩의 불확실성을 정량화한다.
• R를 포함한 GP 초파라미터에 대한 새로운 근사적 적분 기법을 도입하여, 초파라미터 잘못 설정에도 불구하고 강건한 예측을 가능하게 한다.
• 임베딩 R에 대한 불확실성 감소를 최대화하는 액티브 선택 전략을 사용하며, 유틸리티 최적화를 기반으로 한다.
• R에 대한 근사 사후 분포와 적분된 GP 사후 분포를 결합하여 정보가 풍부한 입력 점 x*의 선택을 이끈다.
• 각 반복에서 R에 대한 로그 사후 분포의 모드를 찾기 위해 L-BFGS 최적화를 다중 재시작과 함께 적용한다.
• 임베딩 발견 과정에 편향을 주지 않기 위해 R에 대해 분산된, 정보가 없는 사전분포(독립 동일분포의 0평균 가우시안)를 사용한다.

실험 결과

연구 질문

• RQ1 고차원 입력 공간에서 액티브 러닝을 어떻게 효과적으로 확장하여 저차원 선형 임베딩을 동시에 발견하고 가우시안 프로세스 회귀를 수행할 수 있는가?
• RQ2 임베딩 및 커널 파라미터의 잘못 설정에 대한 강건성을 향상시키기 위해 GP 모델에서 초파라미터의 적분을 어떻게 근사적으로 수행할 수 있는가?
• RQ3 임베딩 불확실성 기반의 액티브 선택은 고차원 작업에서 수동 또는 무작위 샘플링보다 빠른 수렴과 더 나은 예측 성능을 보일 수 있는가?
• RQ4 제안된 방법은 정확도와 불확실성 캘리브레이션을 유지하면서 실세계 고차원 문제에 스케일링 가능한가?
• RQ5 예측 정확도와 데이터 효율성 측면에서, 활성 임베딩 발견 방법은 라소나 단츠비 선택자와 같은 수동 방법보다 성능이 뛰어나다고 할 수 있는가?

주요 결과

• 제안된 액티브 러닝 방법은 합성, Branin, 커뮤니티와 범죄, CT 슬라이스와 같은 실세계 문제를 포함한 테스트 데이터셋 1개를 제외한 모든 데이터셋에서 가장 낮은 루트 평균 제곱 오차(RMSE)와 음의 로그우도를 달성하였다.
• 합성 20D/3D 문제에서, 이 방법은 RMSE 0.617과 로그우도 0.888을 기록하여 모든 베이스라인을 압도하였다.
• 실세계 온도 데이터셋(106D)에서, 이 방법은 RMSE 0.328과 로그우도 0.318을 기록하여 경쟁 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• CT 슬라이스 데이터셋(318D)에서, 이 방법은 RMSE 0.767과 로그우도 1.16을 기록하여 고차원 실세계 데이터에 대한 스케일링 능력을 입증하였다.
• 모든 벤치마크에서, 이 방법은 불확실성 기반(UCB) 및 BALD 기반 액티브 러닝 베이스라인보다 예측 정확도와 불확실성 캘리브레이션 측면에서 끊임없이 뛰어난 성능을 보였다.
• 근사적 적분 기법은 다양한 초파라미터 설정에서도 안정적인 성능을 보이며, 초파라미터 잘못 설정에 대한 강건성을 크게 향상시켰다.