[논문 리뷰] Machine Learning for Better Models for Predicting Bond Prices

Swetava Ganguli, Jared Dunnmon|arXiv (Cornell University)|2017. 03. 31.

Stock Market Forecasting Methods참고 문헌 1인용 수 10

한 줄 요약

이 논문은 역사적 거래 데이터를 사용하여 채권 가격을 예측하기 위한 하이브리드 기계학습 접근법을 제안한다. 이는 정규화된 학습 모델과 시계열 분석을 결합하여 정확도와 속도를 향상시킨다. 연구에서는 가격 차이의 ARMA(1,1) 기반 특징을 통합함으로써 모델 성능이 크게 향상됨을 보여주며, 신경망과 일반화된 선형 모델이 속도와 정확도의 최적 균형을 달성한다. 이로 인해 테스트 오차가 2시간 이내로 73¢로 감소된다.

ABSTRACT

Bond prices are a reflection of extremely complex market interactions and policies, making prediction of future prices difficult. This task becomes even more challenging due to the dearth of relevant information, and accuracy is not the only consideration--in trading situations, time is of the essence. Thus, machine learning in the context of bond price predictions should be both fast and accurate. In this course project, we use a dataset describing the previous 10 trades of a large number of bonds among other relevant descriptive metrics to predict future bond prices. Each of 762,678 bonds in the dataset is described by a total of 61 attributes, including a ground truth trade price. We evaluate the performance of various supervised learning algorithms for regression followed by ensemble methods, with feature and model selection considerations being treated in detail. We further evaluate all methods on both accuracy and speed. Finally, we propose a novel hybrid time-series aided machine learning method that could be applied to such datasets in future work.

연구 동기 및 목표

• 제한적이고 지연된 시장 데이터로 인해 최신 채권 가격을 예측하는 데 도전하는 문제를 해결하기 위해.
• 실시간 거래 환경에서 작동할 수 있는 빠르고 정확한 기계학습 모델을 개발하기 위해.
• 시계열 분석을 전통적인 정규화된 학습 방법과 융합하여 예측 성능을 향상시키기 위해.
• 다양한 알고리즘 간에 정확도와 계산 효율성의 상호 상관관계를 평가하기 위해.
• 고차원 금융 예측 과제에 대해 신경망과 앙상블 방법의 잠재력을 탐색하기 위해.

제안 방법

• 저자들은 역사적 거래 가격과 곡선 기반 추정치를 포함한 61개의 속성을 가진 762,678개의 채권 데이터셋을 사용한다.
• 주요 예측 변수를 식별하고 차원을 감소시키기 위해 주성분 분석(PCA)과 상관 분석 등의 특징 선택 기법을 적용한다.
• 정규화된 학습 모델로 GLM, 회귀 트리, 서포트 벡터 회귀(SVR), 앙상블 방법(Bagging, LS-Boosting, 랜덤 포레스트)을 평가하여 회귀 성능을 분석한다.
• 새로운 하이브리드 방법을 제안한다: 각 채권 유형에 대해 거래 가격과 곡선 가격의 차이에 대해 ARMA(1,1) 모델을 적합하고, 그 한 단계 예측값을 GLM 모델의 새로운 특징으로 사용한다.
• 비선형 적합 능력을 평가하기 위해 은닉층이 하나인 신경망과 Levenberg-Marquardt 최적화 방법을 사용해 훈련한다.
• 모델 성능은 정확도(테스트 오차)와 훈련 시간을 기준으로 평가되며, 결과는 스탠포드 고성능 컴퓨팅 클러스터에서 보고된다.

실험 결과

연구 질문

• RQ1 채권 가격 예측에서 전통적 회귀 모델의 예측 능력을 향상시키기 위해 가격 차이의 시계열 모델링이 효과적인가?
• RQ2 고차원 채권 가격 예측에 대해 다양한 기계학습 알고리즘이 정확도와 계산 효율성 측면에서 어떻게 비교되는가?
• RQ3 ARMA 기반 예측을 활용한 특징 증강이 모델 일반화 능력 향상과 오차 감소에 실질적인 개선을 이끌 수 있는가?
• RQ4 이 금융 데이터셋에서 신경망이 기존 모델보다 정확도와 훈련 시간 측면에서 얼마나 뛰어나게 성능을 내는가?
• RQ5 대규모 데이터셋과 높은 계산 비용을 감안할 때 앙상블 방법이 개별 모델보다 성능을 크게 향상시킬 수 있는가?

주요 결과

• ARMA(1,1) 기반 특징을 포함시킴으로써 기존에 채권 ID만을 사용한 경우에 비해 테스트 오차가 2.3¢ 감소하여, 시계열 특징이 고유한 설명력을 제공한다는 점을 입증한다.
• 일반화된 선형 모델(GLM)은 최소한의 계산 비용으로 뛰어난 성능을 달성했으며, 단일 노드에서 몇 초 내로 완료된다.
• 두 층으로 구성된 신경망은 약 2시간 내로 테스트 오차를 73¢로 감소시켜 높은 정확도와 합리적인 훈련 시간을 동시에 확보한다.
• 랜덤 포레스트와 LS-Boosting와 같은 앙상블 방법은 성능 향상이 크지 않으며, 상당한 계산 자원을 요구한다.
• ARMA 예측을 특징으로 사용하는 하이브리드 접근법은 훈련 오차와 테스트 오차 양쪽 모두를 개선하여, 동적 가격 행동을 포착하는 데 효과적이라는 점을 확인한다.
• 신경망과 GLM은 속도와 정확도의 최적 균형을 제공하므로 실시간 거래 응용 분야에 가장 적합하다.