[論文レビュー] Fusion Recurrent Neural Network

Yiwen Sun, Yulu Wang+4 more|arXiv (Cornell University)|Jun 7, 2020

Traffic Prediction and Management Techniques参考文献 47被引用数 4

ひとこと要約

本稿では、従来のゲートやメモリセルの代わりに、複数ラウンドの入力-隠れ状態相互作用を実現するFusionモジュールと、状態伝搬を担うTransportモジュールを備えた、簡素化されたRNNアーキテクチャ「Fusion RNN」を提案する。大規模な実世界のタクシー軌道データセット上で、Fusion RNNはETA予測においてSOTAの性能を達成し、LSTMやGRUを上回る結果を示した。

ABSTRACT

Considering deep sequence learning for practical application, two representative RNNs - LSTM and GRU may come to mind first. Nevertheless, is there no chance for other RNNs? Will there be a better RNN in the future? In this work, we propose a novel, succinct and promising RNN - Fusion Recurrent Neural Network (Fusion RNN). Fusion RNN is composed of Fusion module and Transport module every time step. Fusion module realizes the multi-round fusion of the input and hidden state vector. Transport module which mainly refers to simple recurrent network calculate the hidden state and prepare to pass it to the next time step. Furthermore, in order to evaluate Fusion RNN's sequence feature extraction capability, we choose a representative data mining task for sequence data, estimated time of arrival (ETA) and present a novel model based on Fusion RNN. We contrast our method and other variants of RNN for ETA under massive vehicle travel data from DiDi Chuxing. The results demonstrate that for ETA, Fusion RNN is comparable to state-of-the-art LSTM and GRU which are more complicated than Fusion RNN.

研究の動機と目的

• LSTM や GRU に見られるゲートやメモリセルの複雑さを回避する、よりシンプルで効果的なRNNアーキテクチャの開発。
• 実世界の大規模な時空間データマイニングタスクにおける、提案モデルのシーケンス特徴抽出能力の評価。
• 最小限の非ゲート型RNNが、実用的応用において最先端のRNN変種と同等の性能を達成できることの実証。
• 融合反復回数がモデル性能およびロバストネスに与える影響の調査。

提案手法

• Fusion RNNは、入力と隠れ状態ベクトル間の複数ラウンド相互作用を実行するFusionモジュールと、更新された隠れ状態を次時刻に伝搬するTransportモジュールの2つのコアモジュールから構成される。
• Fusionモジュールは、入力と隠れ状態の連結に可学習変換を適用し、その後に非線形活性化関数を適用する。この処理をrラウンド繰り返すことで、隠れ表現を精緻化する。
• Transportモジュールはゲートを含まないシンプルな再帰構造を採用しており、パラメータ数と計算コストを最小限に抑える。
• 本モデルは、DiDi Chuxingの500M以上の軌道データセットから得た大規模なETA予測タスクにおいて、Adam最適化法とMAPE損失を用いてエンドツーエンドで学習される。
• コアとなるシーケンス特徴抽出部はモジュラー構造であり、公平な比較のための任意のRNNに交換可能で、Fusion RNNの本質的性能の評価を可能にする。
• ハイパーパramータの分析として、融合反復回数（r ∈ [1,5]）の影響を性能およびロバストネスの観点から検証。

実験結果

リサーチクエスチョン

• RQ1 ゲートやメモリセルを備えない再帰的ニューラルネットワークが、シーケンスモデリングにおいて競争力のある性能を達成できるか？
• RQ2 入力と隠れ状態の複数ラウンド融合は、ゲート機構と比較してどのようにシーケンス表現を改善するか？
• RQ3 実世界の時空間データにおける有効なシーケンス学習のための最適な融合反復回数は何か？
• RQ4 よりシンプルなRNNアーキテクチャが、LSTM や GRU のような複雑な最先端モデルを実用的シーケンス予測タスクで上回るか？

主な発見

• Fusion RNNは北京2018データセットでMAPE 19.579%を達成し、LSTM（19.598%）およびGRU（19.673%）をMAPE、MAE、RMSEのすべての指標で上回った。
• MAPEではLSTMより0.09%、MAEでは0.38%、RMSEでは0.21%の改善を示し、よりシンプルなアーキテクチャでありながらも優れた予測精度を実現した。
• r=2のとき、Fusion RNNは最良の性能を示し、2ラウンドの融合が複雑さと表現力の最適なバランスを提供していることを示した。
• rが1から5の全範囲でFusion RNNは競争力ある性能を維持しており、ハイパーパramータの変動に対してもロバストであることが示された。
• ルート-ETAなどの非ディープラーニングベースラインを上回ったことから、複雑な交通システムにおけるデータ駆動型学習の有効性が確認された。
• 明示的なゲーティング機構がなくても、効果的な情報統合が達成可能であることが結果から裏付けられ、RNNにおけるゲートの必要性に疑問を呈するものとなった。