[论文解读] Machine learning modeling for time series problem: Predicting flight ticket prices

Jun Lu|arXiv (Cornell University)|May 19, 2017

Imbalanced Data Classification Techniques参考文献 6被引用 9

一句话总结

本文提出一种基于时间序列数据的机器学习方法，用于预测航空机票购买的最佳时机。该方法基于2015年11月至2016年2月期间对8条航线共103天的航班价格数据，采用AdaBoost-Decision Tree分类模型解决已有历史数据的特定问题，相较于随机购买策略，性能提升61.35%；并通过结合隐马尔可夫模型（HMM）序列分类方法，将该方法推广至无历史数据的新航线，实现31.71%的性能提升，优于随机购买策略。

ABSTRACT

Machine learning has been used in all kinds of fields. In this article, we introduce how machine learning can be applied into time series problem. Especially, we use the airline ticket prediction problem as our specific problem. Airline companies use many different variables to determine the flight ticket prices: indicator whether the travel is during the holidays, the number of free seats in the plane etc. Some of the variables are observed, but some of them are hidden. Based on the data over a 103 day period, we trained our models, getting the best model - which is AdaBoost-Decision Tree Classification. This algorithm has best performance over the observed 8 routes which has 61.35$\%$ better performance than the random purchase strategy, and relatively small variance over these routes. And we also considered the situation that we cannot get too much historical datas for some routes (for example the route is new and does not have historical data) or we do not want to train historical data to predict to buy or wait quickly, in which problem, we used HMM Sequence Classification based AdaBoost-Decision Tree Classification to perform our prediction on 12 new routes. Finally, we got 31.71$\%$ better performance than the random purchase strategy.

研究动机与目标

• 开发一种基于历史价格数据的机器学习模型，以预测购买航空机票的最佳时机。
• 解决在无历史数据的新航线或数据稀疏航线上预测机票价格的挑战。
• 比较多种分类与回归模型在航空票价时间序列预测中的表现。
• 降低预测方差，提升在多样化航线上的鲁棒性。
• 设计一种通用模型，利用现有航线的预训练知识，实现在新航线上快速、低计算量的预测。

提出的方法

• 本研究使用2015年11月至2016年2月期间通过网络爬取获得的8条航线共103天的每日航班价格数据。
• 采用K-Means与EM算法剔除异常值，以提升模型鲁棒性。
• 通过随机过采样缓解类别不平衡问题，防止模型对多数类别的偏差。
• 通过5折网格搜索调优超参数，以优化模型性能。
• 针对特定问题（存在历史数据），应用AdaBoost-Decision Tree分类模型，并与Q-Learning、均匀融合模型及其他分类器进行比较。
• 针对通用问题（无历史数据），将HMM序列分类模型与预训练的AdaBoost-Decision Tree模型结合，用于在12条新航线上进行预测。

实验结果

研究问题

• RQ1 在具有历史数据的航线上，哪种机器学习模型在预测最优机票购买时机方面表现最佳？
• RQ2 该模型在具有不同定价行为的各类航线上的表现如何变化？
• RQ3 能否构建一种通用模型，在无任何历史数据的情况下预测新航线的最优购买时机？
• RQ4 该通用模型在新航线上的表现与随机购买及其他基线方法相比如何？
• RQ5 为何在此时间序列预测任务中，分类模型优于回归模型？

主要发现

• 在特定问题下，AdaBoost-Decision Tree分类模型表现最佳，相较于随机购买策略，在8条航线上平均提升61.35%。
• 均匀融合分类器在各航线间表现出最低的方差，表明其尽管性能略低，但具有高度鲁棒性。
• Q-Learning方法的性能接近AdaBoost-Decision Tree，平均性能为55.11%，方差适中。
• 在通用问题设置下，基于HMM序列分类的模型在12条无历史数据的新航线上，相比随机购买策略，性能提升31.71%。
• 在两个重叠航线（R3和R6）上，通用设置下的性能显著下降（从71.69%和85.33%分别降至63.11%和0.54%），证实了零样本预测的挑战。
• 与回归模型相比，分类模型在交叉验证误差和精确度上的方差显著更小，表明其在本任务中具有更好的稳定性。