[논문 리뷰] Varying-coefficient models with isotropic Gaussian process priors

Matthias Bussas, Christoph Sawade외 2명|arXiv (Cornell University)|2015. 08. 28.

Gaussian Processes and Bayesian Inference참고 문헌 12인용 수 4

한 줄 요약

이 논문은 등방성 가우시안 프로세스 사전분포를 사용하여 변화계수 모델에 대한 확장 가능한 베이지안 프레임워크를 제안한다. 이는 추론이 곱자기(kernel)를 사용한 표준 가우시안 프로세스 추론으로 환원됨을 보여주며, 핵심 기여는 이로 인해 다중작업 학습을 위한 다중작업 커널과 인스턴스 커널 조합을 통한 효율적인 MAP 추론, 그리고 그래프 라플라스티안 커널을 통한 계층적 베이지안 모델링이 가능해짐을 보여준다. 이는 지리공간 예측 과제에서 검증되었다.

ABSTRACT

We study learning problems in which the conditional distribution of the output given the input varies as a function of additional task variables. In varying-coefficient models with Gaussian process priors, a Gaussian process generates the functional relationship between the task variables and the parameters of this conditional. Varying-coefficient models subsume hierarchical Bayesian multitask models, but also generalizations in which the conditional varies continuously, for instance, in time or space. However, Bayesian inference in varying-coefficient models is generally intractable. We show that inference for varying-coefficient models with isotropic Gaussian process priors resolves to standard inference for a Gaussian process that can be solved efficiently. MAP inference in this model resolves to multitask learning using task and instance kernels, and inference for hierarchical Bayesian multitask models can be carried out efficiently using graph-Laplacian kernels. We report on experiments for geospatial prediction.

연구 동기 및 목표

• 고차원 매개변수 공간을 가진 변화계수 모델에서의 베이지안 추론의 계산 불가능성 문제를 해결한다.
• 시간 또는 위치와 같은 작업 변수에 따라 모델 매개변수가 변하는 전이 학습 설정에서의 효율적 추론을 가능하게 한다.
• 기존의 다중작업 학습 및 계층적 베이지안 모델을 이론적 보장이 있는 동일한 GP 기반 프레임워크로 통합한다.
• 실제 부동산 가격 및 임대료 예측과 같은 지리공간 예측 과제를 통해 실용적 적용 가능성을 입증한다.

제안 방법

• 작업 변수에 대한 변화계수를 등방성(독립된 매개변수 성분)을 가진 가우시안 프로세스 사전분포로 모델링한다.
• 변화계수 모델에서의 사후 추론이 입력 변수와 작업 변수에 대한 곱자기(product kernel)를 사용한 표준 GP 추론과 동치임을 보여준다.
• MAP 추정이 다중작업 커널과 인스턴스 커널의 조합을 사용한 다중작업 학습으로 환원됨을 유도한다.
• 계층적 베이지안 모델이 그래프 라플라스티안 다중작업 커널을 사용할 경우 이 프레임워크의 특수한 경우임을 드러내며, 표준 GP 도구를 통한 효율적 추론이 가능함을 보여준다.
• 크로네커 곱 구조와 행렬 분해를 사용하여 복잡한 변화계수 모델과 표준 GP 추론 간의 등가성을 확립한다.
• 수학적 귀납법을 통해 트리 구조의 작업 그래프에서 공분산 행렬의 역행렬이 그래프 라플라스티안과 일치함을 증명하여 커널 구조의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 등방성 GP 사전분포를 가진 변화계수 모델에서의 베이지안 추론을 계산적으로 가능하게 할 수 있는가?
• RQ2 등방성 GP 사전분포를 가진 변화계수 모델과 표준 가우시안 프로세스 모델 간의 이론적 등가성은 무엇인가?
• RQ3 특정 커널 선택 하에 기존의 다중작업 학습 방법은 이 프레임워크와 어떻게 관련이 있는가?
• RQ4 이 프레임워크는 시간 또는 공간과 같은 연속적인 작업 변수에 대한 매개변수의 연속적 변화를 효율적으로 모델링할 수 있는가? 예를 들어 지리공간 응용에서의 적용을 고려할 때.
• RQ5 제안된 방법은 조건부 분포가 변화하는 실제 예측 과제에서 표준 기준 모델을 능가하는가?

주요 결과

• 등방성 GP 사전분포를 가진 변화계수 모델에서의 베이지안 추론은 정확히 곱자기(product kernel)를 사용한 표준 GP 추론으로 환원되며, 이는 효율적 계산을 가능하게 한다.
• 이 모델에서의 MAP 추론은 다중작업 커널과 인스턴스 커널의 조합을 사용한 다중작업 학습과 동치이며, 실용적인 최적화 경로를 제공한다.
• 계층적 베이지안 다중작업 모델은 그래프 라플라스티안 커널을 사용할 경우 이 프레임워크의 특수한 경우임이 입증되었으며, 표준 GP 도구를 통한 효율적 추론이 가능하다.
• 이 모델은 지리공간 예측 과제에서 뛰어난 성능을 보이며, 부동산 가격과 월 임대료 예측에서 기준 모델을 능가한다.
• 이론적 증명을 통해 트리 구조의 작업 그래프에서 공분산 행렬의 역행렬이 그래프 라플라스티안과 일치함을 확인하여 커널 구성의 타당성을 검증한다.
• 이 프레임워크는 이산적 다중작업 설정을 초월하여 시간 또는 위치와 같은 연속적 작업 변수로 일반화되어 개념 드리프트(Concept Drift)의 모델링이 가능하다.