[論文レビュー] Short-term passenger flow prediction for multi-traffic modes: A Transformer and residual network based multi-task learning method

Jian Yang, Jinlei Zhang+3 more|arXiv (Cornell University)|Feb 27, 2022

Traffic Prediction and Management Techniques被引用数 4

ひとこと要約

本稿では、修正されたTransformer層と残留接続ネットワークを組み合わせたマルチタスク学習モデル、Res-Transformerを提案する。このモデルは、地下鉄、タクシー、バスの各交通手段における短期的な乗客流れを予測することを目的としている。空間的・時間的依存関係と異なる交通手段間の相関関係を統合的にモデル化することで、ベースラインと比較して北京の実データセットにおいて優れた精度と頑健性を達成した。

ABSTRACT

With the prevailing of mobility as a service (MaaS), it becomes increasingly important to manage multi-traffic modes simultaneously and cooperatively. As an important component of MaaS, short-term passenger flow prediction for multi-traffic modes has thus been brought into focus. It is a challenging problem because the spatiotemporal features of multi-traffic modes are critically complex. Moreover, the passenger flows of multi-traffic modes differentiate and fluctuate significantly. To solve these problems, this paper proposes a multitask learning-based model, called Res-Transformer, for short-term inflow prediction of multi-traffic modes (subway, taxi, and bus). Each traffic mode is treated as a single task in the model. The Res-Transformer consists of two parts: (1) several modified Transformer layers comprising the conv-Transformer layer and the multi-head attention mechanism, which helps to extract the spatial and temporal features of multi-traffic modes, (2) the structure of residual network is utilized to obtain the correlations of different traffic modes and prevent gradient vanishing, gradient explosion, and overfitting. The Res-Transformer model is evaluated on two large-scale real-world datasets from Beijing, China. One is the region of a traffic hub and the other is the region of a residential area. Experiments are conducted to compare the performance of the proposed model with several baseline models. Results prove the effectiveness and robustness of the proposed method. This paper can give critical insights into the short-term inflow prediction for multi-traffic modes.

研究の動機と目的

• 複数の交通手段（地下鉄、タクシー、バス）における短期的乗客流れを統合的なフレームワークで予測する課題に対処すること。
• マルチ交通システムにおける複雑な空間的・時間的パターンと手段間相関関係をモデル化すること。
• 深層学習アーキテクチャにおける勾配消失と過学習を軽減することで、予測精度とモデルの安定性を向上させること。
• 交通ハブと住宅地域を含む多様な都市地域からの実データセットを用いてモデルを評価すること。

提案手法

• モデルは、空間的および時間的特徴をマルチ交通フロー・データから抽出するために、畳み込み-Transformerおよび多頭注目機構を組み合わせた修正されたTransformer層を採用している。
• 特徴学習の向上、訓練の安定化、およびタスク間の過学習の低減を図るために、残留ネットワーク構造が統合されている。
• 地下鉄、タクシー、バスの各交通手段が、マルチタスク学習フレームワーク内において別個のタスクとして扱われるが、同時に最適化される。
• 下位レベルの特徴を共有することで、タスク間の知識移転を可能にするとともに、個々の予測のためにタスク固有のヘッドを維持している。
• モデルは、異なる都市地域をカバーする北京の2つの大規模な実データセット上で、エンドツーエンドに訓練されている。
• 残留接続の使用により、深層ネットワーク最適化中の勾配消失や爆発を防止できる。

実験結果

リサーチクエスチョン

• RQ1 統合的な深層学習モデルは、複数の交通手段における短期的乗客流れを同時に効果的に予測できるか？
• RQ2 空間的・時間的依存関係と手段間相関関係は、マルチ交通システムにおける予測性能にどのように影響するか？
• RQ3 共有部とタスク固有部を有するマルチタスク学習は、予測精度と頑健性をどの程度向上させるか？
• RQ4 残留ネットワークの統合は、マルチ交通フロー予測における訓練の安定性と一般化性能をどの程度向上させるか？

主な発見

• Res-Transformerモデルは、全交通手段において、平均二乗誤差（RMSE）および平均絶対誤差（MAE）の両面で複数のベースラインモデルを上回った。
• モデルは交通ハブと住宅地域という2つの異なる都市地域においても頑健な性能を示し、優れた一般化能力を示した。
• マルチタスク学習設定は、単一タスクベースラインと比較して予測精度を向上させたが、特に流れが少ないタクシーのような低流量手段において顕著であった。
• アブレーションスタディの結果、修正されたTransformerおよび残留ネットワークの両方のコンponentsが性能向上に顕著に寄与していることが確認された。
• モデルは、異なる交通ネットワーク間の長距離時間的依存関係と空間的相関関係を効果的に捉えていた。
• 残留接続の統合により、訓練の不安定性が軽減され、特に深層アーキテクチャにおいて過学習が抑制された。