[논문 리뷰] Tensor Regression Meets Gaussian Processes

Rose Yu, Guangyu Li외 1명|arXiv (Cornell University)|2017. 10. 31.

Tensor decomposition and applications참고 문헌 2인용 수 21

한 줄 요약

이 논문은 다중선형 가우시안 프로세스(MLGP)를 도입하여 저질서 텐서 회귀와 가우시안 프로세스 간의 이론적 연결을 수립한다. 이는 저질서 제약을 베이지안 추론 문제로 해석한다. 오ракulum 부등식을 증명하고 평균적 학습 곡선을 유도하여 성능이 공분산 함수의 고유값과 변수 간 상관관계에 의해 결정됨을 보여주며, MLGP는 텐서 회귀보다 경쟁력 있거나 더 낫거나 성능을 발휘하면서도 신뢰구간을 제공한다.

ABSTRACT

Low-rank tensor regression, a new model class that learns high-order correlation from data, has recently received considerable attention. At the same time, Gaussian processes (GP) are well-studied machine learning models for structure learning. In this paper, we demonstrate interesting connections between the two, especially for multi-way data analysis. We show that low-rank tensor regression is essentially learning a multi-linear kernel in Gaussian processes, and the low-rank assumption translates to the constrained Bayesian inference problem. We prove the oracle inequality and derive the average case learning curve for the equivalent GP model. Our finding implies that low-rank tensor regression, though empirically successful, is highly dependent on the eigenvalues of covariance functions as well as variable correlations.

연구 동기 및 목표

• 다중방향 데이터 분석을 위한 저질서 텐서 회귀와 가우시안 프로세스 간의 이론적 연결을 수립한다.
• 예측 불확실성을 신뢰구간을 통해 제공하는 텐서 회귀의 확률적 대체 모델을 개발한다.
• 제안된 모델의 이론적 성질을 분석한다. 이는 오라클 부등식과 평균적 학습 곡선을 포함한다.
• 다중작업 학습, 시공간 예측, 다중출력 회귀와 같은 실제 응용 분야에서 모델을 검증한다.
• 텐서 회귀의 성능이 공분산 함수의 고유값과 작업 간 상관관계에 의해 본질적으로 의존한다는 것을 입증한다.

제안 방법

• 저질서 텐서 회귀의 확률적 확장으로 다중선형 가우시안 프로세스(MLGP)를 제안한다.
• 텐서 회귀에서의 저질서 제약이 MLGP 내의 제약된 베이지안 추론 문제에 해당함을 보인다.
• 텐서 구조에서 유도된 다중선형 커널을 사용하여 MLGP 모델을 수립한다.
• MLGP 모델에 대한 오라클 부등식을 증명하여 일반화 성능을 확립한다.
• MLGP의 평균적 학습 곡선을 유도하여 샘플 복잡도와 고유값에 대한 의존성을 정량화한다.
• 다중선형 다중작업 학습, 시공간 예측, 외환 환율 예측과 같은 실제 데이터셋에 모델을 적용한다.

실험 결과

연구 질문

• RQ1 다중방향 데이터의 맥락에서 저질서 텐서 회귀와 가우시안 프로세스는 어떻게 관련이 있는가?
• RQ2 텐서 회귀에서의 저질서 제약은 어떤 형태의 베이지안 추론으로 해석될 수 있는가?
• RQ3 유도된 가우시안 프로세스 모델의 이론적 성능 보장 조건은 무엇인가?
• RQ4 모델의 성능은 공분산 함수의 고유값과 작업 간 상관관계에 어떻게 의존하는가?
• RQ5 제안된 MLGP 모델은 예측 불확실성을 제공하면서도 기존 텐서 회귀보다 경쟁력 있거나 더 낫거나 성능을 발휘할 수 있는가?

주요 결과

• MLGP는 네 개의 시공간 예측 데이터셋에서 최신 기술의 텐서 회귀 방법과 비교해 유사하거나 더 높은 예측 정확도를 달성했으며, 그레디 알고리즘의 성능을 재현했다.
• MLGP에서 유도된 예측 분산은 실제로 타당한 신뢰구간을 제공하며, 이는 표준 텐서 회귀에서는 제공되지 않는다.
• 환율 변동 예측의 다중출력 회귀에서 MLGP는 MSE 0.0563을 기록하여 저질서 텐서 회귀(0.0657)를 초월하고, MOGP(0.0301)의 성능에 가까워졌다.
• 모델은 예측 분산에서 의미 있는 공간 패턴을 드러내었으며, 눈 깊이 예측에서는 산악 지형에서 더 높은 불확실성을, 기후가 안정적인 지역에서는 기온과 강수량 예측에서 더 낮은 불확실성을 보였다.
• 이론적 분석을 통해 MLGP의 성능가 고유값과 변수 간 상관관계의 구조에 의해 결정됨을 확인했다.
• MLGP는 보정 없이 비균일한 반응 크기를 처리할 수 있어 MOGP보다 훨씬 더 빠르게 실행되며, 실제 응용에 있어 더 뛰어난 확장성을 가진다.