[論文レビュー] Long-term series forecasting with Query Selector -- efficient model of sparse attention

Jacek Klimek, Jakub Klímek+2 more|arXiv (Cornell University)|Jul 19, 2021

Time Series Analysis and Forecasting参考文献 27被引用数 4

ひとこと要約

本稿では、効率的な長期時系列予測のための決定的スパース自己注意機構であるQuerySelectorを提案する。学習可能なセレクタを用いて重要な歴史的ステップを選択することで、計算複雑性を低減しつつ高い精度を維持し、ビジネスプロセスイベントログにおいてLSTMベースのモデルを上回る性能を示した。それぞれのHelpdeskおよびBPI Challenge 2012データセットで74.3%および79.0%の精度を達成した。

ABSTRACT

Various modifications of TRANSFORMER were recently used to solve time-series forecasting problem. We propose Query Selector - an efficient, deterministic algorithm for sparse attention matrix. Experiments show it achieves state-of-the art results on ETT, Helpdesk and BPI'12 datasets.

研究の動機と目的

• 標準的な自己注意機構が長期時系列予測において計算的に非効率であるという問題に取り組む。
• ランダムサンプリングに依存せずに、FLOPsを低減する決定的かつスパースな自己注意機構を開発する。
• 構造的に意味のある歴史的ステップに注目することで、長期シーケンスにおける予測精度を向上させる。
• 実世界のビジネスプロセスイベントログデータセットにおいて、特にLSTMを上回る性能を達成する。
• 産業スケールの時系列予測に適したスケーラブルで効率的な注意ベースのモデリングを可能にする。

提案手法

• シーケンス内の最も関連性の高い歴史的時刻ステップにのみ注目する、学習可能なクエリセレクタを導入する。
• 全自己注意を、各クエリのメモリとして使用されるキーステップのみを含むスパース自己注意行列に置き換える。
• 入力コンテキストに基づいて、どの過去のトークンに注目するかを動的に選ぶ微分可能セレクタネットワークを用いる。
• 固定数の選択されたステップに注目することにより、FLOPsを著しく削減しながらも、完全なシーケンスモデリング能力を維持する。
• イベントタイプ予測のためのクロスエントロピー損失を用いた標準的なシーケンス・ツー・シーケンスの目的関数により、エンド・ツー・エンドでモデルを訓練する。
• イベントログ予測タスクにこの手法を適用する。その目的は、ビジネスプロセストレースにおける次のアクティビティタイプを予測することである。

実験結果

リサーチクエスチョン

• RQ1 決定的で学習可能なスパース自己注意機構は、標準的なフルアテンションおよび再帰型モデルを上回ることができるか？
• RQ2 QuerySelector機構は、長期シーケンスにおける予測精度を保持しつつ、計算効率をどのように向上させるか？
• RQ3 構造的に選択された歴史的ステップに基づくスパース自己注意は、実世界のビジネスプロセスログにおける予測性能をどの程度向上させるか？
• RQ4 QuerySelectorは、イベントログ予測ベンチマークにおいてLSTMベースのモデルを上回る最先端の性能を達成するか？
• RQ5 本手法は、特に低頻度、スパース、構造的イベントログにおいて、さまざまな種類の時系列に対してどれほど頑健か？

主な発見

• QuerySelectorはHelpdeskデータセットで74.3%の精度を達成し、[Tax et al., 2017]で報告された最良のLSTM結果を上回った。
• BPI Challenge 2012データセットでは、QuerySelectorが79.0%の精度を達成し、最良のLSTM性能（76.00%）を上回った。
• 本手法は、歴史的ステップの小さな学習済みサブセットに注目することで、計算コストを顕著に低減した。
• ランダムスパース自己注意手法に伴う分散と不安定性を回避する、決定的な選択メカニズムを有する。
• 複雑で周期的でないパターンを示すイベントログを含む、さまざまな種類のビジネスプロセスログに、良好に一般化した。
• 実験的結果により、構造的に意味のある歴史的ステップに注目することで、長期予測性能が向上することが確認された。