[論文レビュー] Artificial Neural Networks Applied to Taxi Destination Prediction

Alexandre de Brébisson, Étienne Simon+3 more|arXiv (Cornell University)|Jul 31, 2015

Natural Language Processing Techniques参考文献 3被引用数 140

ひとこと要約

この論文は、初期の軌跡セグメントとメタデータを用いてタクシーの目的地をほぼ完全に自動化されたニューラルネットワーク手法で予測する手法を提示している。優勝モデルは、目的地クラスタリングと埋め込みを組み合わせたマルチレイヤーパーセプトロンを採用し、プライベートKaggleセットで1.87のテストスコアを達成し、ECML/PKDDコンテストで380チームを超える他チームを上回った。

ABSTRACT

We describe our first-place solution to the ECML/PKDD discovery challenge on taxi destination prediction. The task consisted in predicting the destination of a taxi based on the beginning of its trajectory, represented as a variable-length sequence of GPS points, and diverse associated meta-information, such as the departure time, the driver id and client information. Contrary to most published competitor approaches, we used an almost fully automated approach based on neural networks and we ranked first out of 381 teams. The architectures we tried use multi-layer perceptrons, bidirectional recurrent neural networks and models inspired from recently introduced memory networks. Our approach could easily be adapted to other applications in which the goal is to predict a fixed-length output from a variable-length sequence.

研究の動機と目的

• 部分的なGPS軌跡とメタデータからタクシーの目的地を予測する、自動的でエンドツーエンドのニューラルネットワークモデルの開発。
• ニューラルネットワークアーキテクチャが生データから直接表現を学習できるようにすることで、手作業による特徴工学を最小限に抑える。
• 同じ予測タスクに対して、MLP、RNN、双方向RNN、メモリネットワークといったさまざまなディープラーニングアーキテクチャの性能を評価する。
• クラスタリングに基づく出力層と学習された埋め込みが、予測精度を顕著に向上させることを示す。
• 再現可能でスケーラブルなソリューションを提供し、入力長が可変なシーケンス・トゥ・シーケンス予測タスクに適用可能である。

提案手法

• 1つの隠れ層（ReLUニューロン500個）を持つマルチレイヤーパーセプトロン（MLP）が、固定長の軌跡接頭辞とメタデータの表現を処理する。
• 入力ベクトルは、各軌跡接頭辞の最初の5点と最後の5点を連結することで構築され、平均0、標準偏差1に標準化される。
• 出力層で目的地クラスタリングが用いられ、予測が学習済みクラスタの重心に制約されることで、出力空間が縮小され、一般化性能が向上する。
• 時間帯（1日中の四半期）や年間の週といったカテゴリカルなメタデータに対して、学習された埋め込みが適用され、時間的パターンを捉えることができる。
• 代替手法として、双方向RNNとメモリネットワークが検討され、後者は入力とメモリベクトル間の類似性に基づく候補検索機構を用いた。
• すべてのモデルはGPUを用いてTheanoで訓練され、ハイパーパramータは、コンテストのものよりも大きなカスタムテストセットを用いた検証により調整された。

実験結果

リサーチクエスチョン

• RQ1 完全にエンドツーエンドのニューラルネットワーク手法は、手作業による特徴工学を用いた手法を上回ることができるか？
• RQ2 時間的長さが可変なシーケンス予測と構造化されたメタデータを併用するタスクにおいて、MLP、RNN、メモリネットワークといった異なるニューラルネットワークアーキテクチャの性能はどのように比較されるか？
• RQ3 直接回帰と比較して、学習された埋め込みと目的地クラスタリングは、予測精度をどの程度向上させるか？
• RQ4 なぜ、より複雑なモデル（双方向RNN やメモリネットワーク）に比べ、クラスタリングを組み合わせた単純なMLPがコンテストのテストセットで優れた性能を発揮するのか？
• RQ5 コンテストのテストセットはどれほど代表的であり、より大きなカスタムテストセットでは結果がどのように異なるのか？

主な発見

• 優勝モデルである、目的地クラスタリングを組み合わせたMLPは、プライベートテストスコア1.87を達成し、ECML/PKDDコンテストで381チーム中1位となった。
• 双方向RNNに時間窓機構を組み合わせたモデルは、カスタムテストセットで最高のスコア2.06を記録し、より大きなデータに対して優れた一般化性能を示した。
• 時間帯（四半期）と年間の週に対する埋め込みは、モデル性能を顕著に向上させたことが確認され、t-SNE可視化では明確なクラスタリングパターンが観察された。
• クラスタリングや直接出力なしの埋め込みのみを用いたモデルは、プライベートテストセットで4.29のスコアを記録し、クラスタリングが正確な予測に不可欠であることを示した。
• コンテストのテストセットは小さく、バイアスがかかる可能性があることが示唆された。プライベートテストセットよりもスコアが高かったことから、コンテストベンチマークの結果はモデルの頑健性を完全に反映していない可能性がある。
• メモリネットワークモデルはプライベートテストセットで2.20のスコアを記録したが、収束まで訓練されていなかったため、より長い訓練時間でさらなる改善が期待できる。