[論文レビュー] From Known to Unknown: Knowledge-guided Transformer for Time-Series Sales Forecasting in Alibaba

Xinyuan Qi, Kai Hou+4 more|arXiv (Cornell University)|Sep 17, 2021

Time Series Analysis and Forecasting参考文献 23被引用数 7

ひとこと要約

本稿では、近い将来に予定されているプロモーションなどの既知の未来情報（例：来週のセール）を予測プロセスに統合することで、eコマースにおける時系列販売予測の精度を向上させる、知識誘導型のTransformerモデル「Aliformer」を提案する。双方向アテンションメカニズムと知識誘導ブランチ、および未来に注目した訓練戦略を用いることで、公開データセットおよび産業界データセットにおいて最先端の手法を上回り、プロモーション期間中の販売予測において顕著な精度向上を達成する。

ABSTRACT

Time series forecasting (TSF) is fundamentally required in many real-world applications, such as electricity consumption planning and sales forecasting. In e-commerce, accurate time-series sales forecasting (TSSF) can significantly increase economic benefits. TSSF in e-commerce aims to predict future sales of millions of products. The trend and seasonality of products vary a lot, and the promotion activity heavily influences sales. Besides the above difficulties, we can know some future knowledge in advance except for the historical statistics. Such future knowledge may reflect the influence of the future promotion activity on current sales and help achieve better accuracy. However, most existing TSF methods only predict the future based on historical information. In this work, we make up for the omissions of future knowledge. Except for introducing future knowledge for prediction, we propose Aliformer based on the bidirectional Transformer, which can utilize the historical information, current factor, and future knowledge to predict future sales. Specifically, we design a knowledge-guided self-attention layer that uses known knowledge's consistency to guide the transmission of timing information. And the future-emphasized training strategy is proposed to make the model focus more on the utilization of future knowledge. Extensive experiments on four public benchmark datasets and one proposed large-scale industrial dataset from Tmall demonstrate that Aliformer can perform much better than state-of-the-art TSF methods. Aliformer has been deployed for goods selection on Tmall Industry Tablework, and the dataset will be released upon approval.

研究の動機と目的

• 既存の時系列予測モデルが、販売パターンに大きな影響を与える既知の未来情報（例：計画されたプロモーション）を無視するという限界を是正すること。
• 歴史的データと未来の知識の両方を活用して、eコマース販売予測の精度を向上させる予測モデルを開発すること。
• 既知の未来情報の一貫性を用いて時系列情報の流れを誘導する自己アテンション機構を設計し、マスクされた未来トークンからのノイズの影響を低減すること。
• Tmall社の大型産業データセットおよび公開ベンチマークデータセットを用いて、モデルの有効性を検証し、実世界での導入可能性を示すこと。

提案手法

• 従来のモデルが厳密に因果関係を守るのを破る、既知の未来情報をエンコーダー入力に統合する双方向型Transformerベースのモデル「Aliformer」を導入する。
• 既知の未来情報を使ってアテンション計算を誘導する、知識誘導型の自己アテンションレイヤーを設計し、マスクされた未来トークンからのノイズの影響を最小限に抑える。
• 未知の未来値を表すトレーニング可能なマスク済みトークン埋め込みを採用し、知識埋め込みと共同最適化することで、系列の整合性を保つ。
• 最適化中に未来の知識を活用することに重点を置く、未来に注目した訓練戦略を採用し、将来依存のパターンへの一般化性能を向上させる。
• スパース（商品およびプラットフォーム特徴）と密度（統計的およびパフォーマンスメトリクス）の両方の特徴を統合したマルチモーダル入力表現を用い、入力コンテキストを豊かにする。
• 二本のアテンションブランチを実装する：一つは標準の自己アテンション、もう一つは既知の未来の一貫性を用いてアテンションマップを精緻化する知識誘導型ブランチ。

実験結果

リサーチクエスチョン

• RQ1 計画されたプロモーションなどの既知の未来情報を取り入れることで、eコマースにおける時系列販売予測の精度を向上させることができるか？
• RQ2 時系列モデリングの基本的原則に反しない形で、Transformerベースのモデルが効果的に未来の知識を活用できるか？
• RQ3 マスクされた未来トークンからのノイズを最小限に抑えながら、既知の未来知識を用いてアテンションメカニズムを誘導するためのアーキテクチャ的変更は何か？
• RQ4 未来に注目した訓練戦略は、長期予測において未来の知識を効果的に活用する能力を向上させるか？
• RQ5 Aliformerは、プロモーション期間中の急激な販売増加に、最先端のモデルと比較して優れた対応ができるか？

主な発見

• Aliformerは4つの公開ベンチマークデータセットおよびTmall社の大型産業データセットで最先端の性能を達成し、既存手法に比べて顕著に高い予測精度を実現した。
• Tmall販売（TMS）データセットにおいて、Aliformerは最良のベースライン比で平均絶対誤差率（sMAPE）を最大15%まで低減し、実世界の販売パターンへの優れた一般化能力を示した。
• 本モデルは、価格引き下げやライブストリーミングキャンペーンなど、プロモーションイベント中の急激な販売増を効果的に捉え、従来のモデルが歴史的データのみに依存するため予測に失敗する状況を克服した。
• 知識誘導型自己アテンション機構により、マスクされた未来トークンからのアテンションマップのノイズが低減され、モデルのロバスト性と予測の正確性が向上した。
• 未来に注目した訓練戦略により、特に自己回帰モデルで誤差が蓄積しやすい長期予測において、未来の知識の活用がより効果的になった。
• AliformerはTmall社のインダストリー・テーブルワークにおける商品選定プロセスに実際に導入され、産業的実用性およびスケーラビリティが確認された。