[논문 리뷰] The Automatic Statistician: A Relational Perspective

Yunseong Hwang, Tong, Anh외 1명|arXiv (Cornell University)|2015. 11. 26.

Gaussian Processes and Bayesian Inference참고 문헌 25인용 수 4

한 줄 요약

이 논문은 다중 시계열 데이터셋 간 공유되고 특징적인 공분산 구조를 가우시안 프로세스를 사용해 발견하는 두 가지 관계 기반 다중 커널 학습 방법인 관계 기반 커널 학습(Relational Kernel Learning, RKL)과 공유 관계 기반 커널 학습(Shared Relational Kernel Learning, SRKL)을 제안한다. 교차 데이터셋 증거를 활용함으로써 RKL과 SRKL은 단일 데이터셋 조합 커널 학습(Compositional Kernel Learning, CKL)보다 모델 적합도(BIC)와 외삽 정확도(RMSE)에서 뛰어난 성능을 보이며, 특히 9/11 시장 폭락과 중앙은행 금리 발표와 같은 중요한 사건을 잘 포착한다.

ABSTRACT

Gaussian Processes (GPs) provide a general and analytically tractable way of modeling complex time-varying, nonparametric functions. The Automatic Bayesian Covariance Discovery (ABCD) system constructs natural-language description of time-series data by treating unknown time-series data nonparametrically using GP with a composite covariance kernel function. Unfortunately, learning a composite covariance kernel with a single time-series data set often results in less informative kernel that may not give qualitative, distinctive descriptions of data. We address this challenge by proposing two relational kernel learning methods which can model multiple time-series data sets by finding common, shared causes of changes. We show that the relational kernel learning methods find more accurate models for regression problems on several real-world data sets; US stock data, US house price index data and currency exchange rate data.

연구 동기 및 목표

• 시계열 데이터에 대해 단일 데이터셋 커널 학습이 정보량이 적고 특징이 뚜렷하지 않은 모델을 생성하는 데에 한계가 있음을 해결하기 위해.
• 관계 학습을 통해 다중 시계열 데이터셋 간 공유된 해석 가능한 공분산 구조를 자동으로 발견할 수 있도록 하기 위해.
• 다중 데이터셋 간 공통 커널과 개별 구성 요소를 함께 학습시켜 모델 정확도와 해석 가능성을 향상시키기 위해.
• 실제 금융 데이터인 미국 주식, 주택 지수, 통화 환율을 포함한 실제 세계 데이터를 바탕으로 접근 방식을 검증하기 위해.

제안 방법

• 관계 기반 자동 베이지안 공분산 발견(Relational Automatic Bayesian Covariance Discovery, RABCD)을 제안하며, 관계 기반 커널 학습을 위한 비모수적 베이지안 프레임워크를 제공한다.
• 두 가지 방법을 도입한다: RKL은 다중 시계열 데이터셋 간 공유된 복합 커널과 개별 스케일 요소를 학습한다.
• SRKL은 RKL을 확장하여 각 데이터셋에 고유한 스펙트럼 혼합 커널을 추가함으로써 고유한 역학을 포착한다.
• 합성 공분산 커널이 덧셈과 곱셈에 대해 닫혀 있음을 활용하여, 다소 유연하고 해석 가능한 모델링이 가능한 가우시안 프로세스를 사용한다.
• 커널 연산 문법과 자동 조합을 적용하여 데이터에서 인간이 이해할 수 있는 해석 가능한 커널 구조를 발견한다.
• 모델 성능 평가에 음의 로그우도, BIC, RMSE를 평가 지표로 사용하여 훈련 및 테스트 데이터에서의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 관계 기반 커널 학습이 다중 시계열 데이터셋 간 공유된 공분산 구조를 발견함으로써 모델 적합도와 해석 가능성을 향상시킬 수 있는가?
• RQ2 공유 커널 학습은 단일 데이터셋 커널 학습보다 시장 폭락이나 정책 변화와 같은 중요한 사건을 얼마나 잘 포착할 수 있는가?
• RQ3 공유 커널과 고유 커널을 모두 포함함으로써, 공유 커널 또는 개별 구성 요소만을 가진 모델보다 더 나은 외삽 성능을 달성할 수 있는가?
• RQ4 관계 학습은 일반화 성능 향상과 함께 모델 복잡도와 하이퍼파rameter 수를 얼마나 줄일 수 있는가?

주요 결과

• RKL은 실세계 데이터셋 6개 중 5개에서 CKL보다 낮은 베이지안 정보 기준(BIC)을 기록하여 더 적은 파rameter로 더 나은 모델 적합도를 보였다.
• 미국 주식 데이터에서는 RKL이 RMSE를 CKL의 0.78에서 0.38로 감소시켜 외삽 성능 향상이 뚜렷하게 나타났다.
• SRKL은 6개 데이터셋 중 5개에서 RMSE에서 CKL과 RKL을 모두 앞서며, CURRENCY4에서는 CKL의 330.00과 대비해 201.56의 RMSE를 기록했다.
• RKL은 정의된 시간 창 내에서 일정 커널을 사용해 9/11 시장 급락을 독립적인 구성 요소로 분리했고, 반면 CKL은 이를 부드러운 변화의 일부로 간주했다.
• SRKL은 2015년 9월 중순에서 10월 중순 사이의 환율 변동에서 연방준금은행 금리 발표와 관련된 중요한 변화점(Change-point)을 식별했으며, ABCD는 유일한 통화를 제외하고는 이를 놓쳤다.
• SRKL의 공유 커널은 일반적인 시장 역학을 포착했고, 고유한 스펙트럼 혼합 커널은 개별 시계열에서 독특하고 특수한 행동 양태를 모델링했다.