[論文レビュー] Machine learning modeling for time series problem: Predicting flight ticket prices

Jun Lu|arXiv (Cornell University)|May 19, 2017

Imbalanced Data Classification Techniques参考文献 6被引用数 9

ひとこと要約

本稿では、103日間にわたる8路線の時系列データを用いて、最適な航空券購入時期を予測する機械学習手法を提案する。具体的な問題（歴史的データあり）に対してはAdaBoost-Decision Tree分類を適用し、ランダム購入と比較して61.35%優れた性能を達成した。一般化問題（歴史的データなし）に対しては、HMMシーケンス分類を用い、新路線12本に対してランダム購入と比較して31.71%優れた性能を示した。

ABSTRACT

Machine learning has been used in all kinds of fields. In this article, we introduce how machine learning can be applied into time series problem. Especially, we use the airline ticket prediction problem as our specific problem. Airline companies use many different variables to determine the flight ticket prices: indicator whether the travel is during the holidays, the number of free seats in the plane etc. Some of the variables are observed, but some of them are hidden. Based on the data over a 103 day period, we trained our models, getting the best model - which is AdaBoost-Decision Tree Classification. This algorithm has best performance over the observed 8 routes which has 61.35$\%$ better performance than the random purchase strategy, and relatively small variance over these routes. And we also considered the situation that we cannot get too much historical datas for some routes (for example the route is new and does not have historical data) or we do not want to train historical data to predict to buy or wait quickly, in which problem, we used HMM Sequence Classification based AdaBoost-Decision Tree Classification to perform our prediction on 12 new routes. Finally, we got 31.71$\%$ better performance than the random purchase strategy.

研究の動機と目的

• 航空会社の航空券価格の履歴データに基づき、最適な購入時期を予測する機械学習モデルの開発。
• 歴史的データが入手できない新路線やデータが乏しい路線における航空券価格予測の課題に対処すること。
• 航空運賃予測における時系列予測の分類・回帰モデルを複数比較すること。
• 多様な路線にわたる予測のばらつきを低減し、モデルの頑健性を向上させること。
• 既存路線から事前学習した知識を活用し、新路線において高速で計算量が少ない予測を可能にする汎用モデルの設計。

提案手法

• 2015年11月から2016年2月にかけての103日間のデータを用い、8路線の航空券価格をウェブクローリングで収集した。
• K-MeansおよびEMアルゴリズムを用いて外れ値を除去し、モデルの頑健性を向上させた。
• 過剰なクラスのバイアスを回避するため、ランダムオーバーサンプリングを用いてクラス不均衡を緩和した。
• ハイパーパrameterの最適化のため、5分割交差検証を用いたグリッドサーチを実施した。
• 具体的な問題（歴史的データあり）に対しては、AdaBoost-Decision Tree分類を適用し、Q-Learning、均一ブレンド、その他の分類器と比較した。
• 一般化問題（歴史的データなし）に対しては、事前に学習済みのAdaBoost-Decision Treeモデルと組み合わせ、HMMシーケンス分類を用いて12の新路線での予測を実施した。

実験結果

リサーチクエスチョン

• RQ1 歴史的データがある路線において、最適な航空券購入時期を予測する際、どの機械学習モデルが最も高い性能を示すか？
• RQ2 多様な価格行動を示す異なる路線において、モデルの性能はどのように変動するか？
• RQ3 汎用モデルは、歴史的データが一切ない新路線に対しても最適な購入時期を予測できるか？
• RQ4 新路線において、汎用モデルの性能はランダム購入や他のベースラインと比較してどうなるか？
• RQ5 なぜこの時系列予測タスクにおいて分類モデルが回帰モデルを上回るのか？

主な発見

• 具体的な問題に対してAdaBoost-Decision Tree分類が最良の性能を示し、8路線すべてでランダム購入と比較して61.35%優れた結果を達成した。
• 均一ブレンド分類器は、わずかに性能が低いものの、路線間で最も低い分散を示し、高い頑健性を示した。
• Q-Learning手法はAdaBoost-Decision Treeに近く、平均性能55.11%、中程度の分散を示した。
• 一般化問題に対しては、HMMシーケンス分類を用いたモデルが、歴史的データのない12の新路線において、ランダム購入と比較して31.71%優れた性能を示した。
• 重複する2路線（R3およびR6）において、一般化設定下で性能が著しく低下した（71.69%および85.33%から63.11%および0.54%に低下）、ゼロショット予測の困難さを裏付けた。
• 分類モデルは回帰モデルと比較して、交差検証誤差および適合度の分散が顕著に小さく、このタスクにおいてより安定していることが示された。