[論文レビュー] Knowledge Adaption for Demand Prediction based on Multi-task Memory Neural Network

Can Li, Lei Bai+3 more|arXiv (Cornell University)|Sep 12, 2020

Traffic Prediction and Management Techniques参考文献 31被引用数 7

ひとこと要約

本稿では、駅が密集した交通手段（例：バス）から駅が疎らな公共交通機関（例：軽鉄道、フェリー）への需要予測を向上させるために、メモリ拡張型マルチタスク再帰型ネットワーク「MATURE」を提案する。MATUREは、メモリ拡張型再帰型ネットワーク、知識適応モジュール、マルチタスク学習を統合することで、特にデータが少ない交通手段においても予測精度を向上させ、シドニー大都市圏の実際の交通データにおいて、最先端のベースラインを上回る性能を示した。

ABSTRACT

Accurate demand forecasting of different public transport modes(e.g., buses and light rails) is essential for public service operation.However, the development level of various modes often varies sig-nificantly, which makes it hard to predict the demand of the modeswith insufficient knowledge and sparse station distribution (i.e.,station-sparse mode). Intuitively, different public transit modes mayexhibit shared demand patterns temporally and spatially in a city.As such, we propose to enhance the demand prediction of station-sparse modes with the data from station-intensive mode and designaMemory-Augmented Multi-taskRecurrent Network (MATURE)to derive the transferable demand patterns from each mode andboost the prediction of station-sparse modes through adaptingthe relevant patterns from the station-intensive mode. Specifically,MATUREcomprises three components: 1) a memory-augmentedrecurrent network for strengthening the ability to capture the long-short term information and storing temporal knowledge of eachtransit mode; 2) a knowledge adaption module to adapt the rele-vant knowledge from a station-intensive source to station-sparsesources; 3) a multi-task learning framework to incorporate all theinformation and forecast the demand of multiple modes jointly.The experimental results on a real-world dataset covering four pub-lic transport modes demonstrate that our model can promote thedemand forecasting performance for the station-sparse modes.

研究の動機と目的

• 駅の分布が疎らかつデータが限られる駅が疎らな公共交通機関の需要予測の不正確さという課題に対処する。
• 異なる交通手段間で共有される時間的・空間的需要パターンを活用し、データが少ない交通手段の予測性能を向上させる。
• 駅が密集した交通手段（例：バス）から駅が疎らな交通手段（例：軽鉄道、フェリー）へ、効果的に知識を転送・適応するモデルを開発する。
• 知識適応を組み込んだマルチタスク学習フレームワークを用いて、複数の交通手段を同時にモデル化することで、予測の頑健性を向上させる。
• 適応的知識適応メカニズムを用いて、ノイズの影響を最小限に抑えつつ、ソースモードからターゲットモードへの有用な特徴転送を最大化する。

提案手法

• 外部メモリにモード固有の時間的知識を格納し、長期間および短期間の時間的依存関係を捉えるために、メモリ拡張型再帰型ネットワーク（MARN）を採用する。
• 学習可能な適応関数を用いて、駅が密集したモードのメモリから、駅が疎らなモードのメモリへ関連する知識を選択的に転送する知識適応モジュールを導入する。
• 知識転送を、ソースメモリ状態とターゲットメモリ状態の重み付き組み合わせとして定式化し、学習可能なハイパーパrameter γ を用いて、元の知識と適応済み知識のバランスを制御する。
• 適応済み知識を統合したマルチタスク学習フレームワークに統合し、共有部とタスク固有部を用いて、すべての交通手段の需要予測を同時に最適化する。
• 平均絶対誤差（MAE）と平均二乗誤差（RMSE）を組み合わせた損失関数を用い、ハイパーパrameter γ を用いて適応知識の影響をバランスさせる。
• シドニー大都市圏の4つの公共交通機関（バス、鉄道、軽鉄道、フェリー）の実データを用いて、モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 駅が密集した交通手段（例：バス）からの知識は、駅が疎らな交通手段（例：軽鉄道、フェリー）の需要予測を向上させるために効果的に転送可能か？
• RQ2 提案された知識適応メカニズムは、単純な特徴連結と比較して、性能およびノイズ耐性に優れているか？
• RQ3 共有メモリと知識転送を組み合わせたマルチタスク学習は、複数の交通手段における予測精度をどの程度向上させるか？
• RQ4 知識適応の度合いを制御するハイパーパrameter γ に、モデルの性能がどの程度感度を示すか？
• RQ5 外部要因（天候、非常事態など）による影響を受けても、データが少ないモードの需要ピークや低下を正確に予測できるか？

主な発見

• MATUREは、駅が疎らなモード（軽鉄道、フェリー、鉄道）の需要予測精度を、駅が密集したバスモードからの知識を活用することで顕著に向上させた。
• 知識適応モジュールは、ノイズの影響を低減し、有用な特徴転送を強化することで、単純な特徴連結を上回る性能を示し、MAEおよびRMSEの値が低くなった。
• フェリーでは γ = 0.3、軽鉄道では γ = 0.4、鉄道では γ = 0.3 の設定で最良の性能が達成され、知識適応の最適なバランスが示された。
• ハイパーパrameter γ に対してモデルの性能がほとんど変動しないため、安定した一般化性能を示した。
• さまざまな需要レベルにおいても高い予測精度を維持し、予測値と実測値の需要曲線が良好に一致したが、極端な外部要因（例：天候による低下）の影響下ではややずれが生じた。
• 大多数の需要ピークを正確に捉えることができたが、追加の文脈情報がなければ、不規則な低下や急激な変化の予測は困難であった。