[論文レビュー] Multi-stream RNN for Merchant Transaction Prediction

Zhongfang Zhuang, Chin‐Chia Michael Yeh+3 more|arXiv (Cornell University)|Jul 25, 2020

Time Series Analysis and Forecasting参考文献 9被引用数 4

ひとこと要約

本論文では、毎日の時系列データを個別のRNNストリームで処理し、マージ層と週単位のRNNを介して統合することで、多変量かつ多ステップのマーチャント取引パターンを予測するマルチストリームRNNモデルを提案する。実世界の取引データにおいて、最先端の手法を上回る性能を示し、複数のマーチャントカテゴリにおける将来の取引トレンド予測において優れた正確性を実証した。

ABSTRACT

Recently, digital payment systems have significantly changed people's lifestyles. New challenges have surfaced in monitoring and guaranteeing the integrity of payment processing systems. One important task is to predict the future transaction statistics of each merchant. These predictions can thus be used to steer other tasks, ranging from fraud detection to recommendation. This problem is challenging as we need to predict not only multivariate time series but also multi-steps into the future. In this work, we propose a multi-stream RNN model for multi-step merchant transaction predictions tailored to these requirements. The proposed multi-stream RNN summarizes transaction data in different granularity and makes predictions for multiple steps in the future. Our extensive experimental results have demonstrated that the proposed model is capable of outperforming existing state-of-the-art methods.

研究の動機と目的

• リアルタイム決済システムにおけるマーチャントの多変数・多ステップ取引パターンを予測する課題に対処すること。
• 複数の時間ステップにわたる取引特徴（例：取引件数、金額、平均額）の間の依存関係をモデル化すること。
• マルチストリームアーキテクチャを用いて、日次および週次時間的パターンを捉えることで、長期予測の正確性を向上させること。
• 決済エコシステムにおける取引監視および異常検知のためのスケーラブルで柔軟なディープラーニングフレームワークを提供すること。
• 多様なマーチャントカテゴリからの集計された実世界取引データを用いて、モデルの有効性を検証すること。

提案手法

• 各曜日に別々のRNN（LSTMまたはGRU）を用いて、1時間ごとの取引データを処理し、日次パターンを捉える。
• 各日ごとの1時間ごとの出力を、同じ時刻の異なる日間で統合し、マージ層を介して統一された時系列表現を形成する。
• 週単位のRNNが24のマージ済み時間ステップ（1時間分ずつ）を処理し、高レベルの週次パターンと依存関係を学習する。
• 全結合層が、それぞれの多変数特徴用に個別のヘッドを備えた、今後の24時間分の予測を生成する。
• 特に深層構造向けに、訓練の安定性と収束性を向上させるために、スリムスタックドRNNの変種を導入する。
• 各RNNの後にドロップアウト（率0.2）を適用し、過学習を防止する。

実験結果

リサーチクエスチョン

• RQ1 マルチストリームRNNアーキテクチャは、異なるマーチャントタイプにわたり、多変数・多ステップ取引予測を効果的にモデル化できるか？
• RQ2 個別のRNNストリームを用いて日次パターンをモデル化することで、単一ストリームRNNと比較して長期予測がどの程度向上するか？
• RQ3 スリムスタックドRNNの導入が、モデル性能および収束性をどの程度改善するか？
• RQ4 レストラン、医療サービス、小売など多様なマーチャントカテゴリに、モデルはどの程度一般化できるか？
• RQ5 既存のRNNベースのベースラインと比較して、複数の将来時間ステップにわたる時間的依存関係をどの程度うまく保持できるか？

主な発見

• 非正規化RMSEに基づく19の24の実験設定において、スリムスタックドRNNを組み込んだマルチストリームRNNが、すべてのベースライン手法を上回った。
• スリムスタックドRNNを用いた際、正規化済みRMSEが24の設定のうち17で改善され、一般化性能の向上が示された。
• レストランマーチャントでは、密度プロットにおいてモデルの予測が真値に近く、23時間後の予測で分布が重なった。
• 可視化分析の結果、MS-RNNはSOTA RNNと比較して、特に長期予測（例：23時間目）においてより正確なパターンを予測していた。
• ネットワークの深さを増すことで形状モデリング（正規化済みRMSE）が向上したが、LSTMではわずかにRMSEが悪化し、GRUでは顕著に悪化したため、アーキテクチャ設計におけるトレードオフが明らかになった。
• モデルは、レストラン、医療サービス、小売など多様なマーチャントカテゴリにおいて、一貫したベースライン上回る性能を示した。