[論文レビュー] ConvFormer: Revisiting Transformer for Sequential User Modeling

Hao Wang, Jianxun Lian+6 more|arXiv (Cornell University)|Aug 5, 2023

Recommender Systems and TechniquesComputer Science被引用数 3

ひとこと要約

ConvFormerは、順序感度、受容 field、モデル効率性を向上させるために、自己注意機構を深度方向畳み込み層に置き換えることで、順序ユーザーモデリングのためのシンプルだが効果的なアーキテクチャ変更を提案する。4つの公開データセットで最先端の性能を達成し、軽量設計と長時間系列用のFFTベースの高速化技術を備えている。

ABSTRACT

Sequential user modeling, a critical task in personalized recommender systems, focuses on predicting the next item a user would prefer, requiring a deep understanding of user behavior sequences. Despite the remarkable success of Transformer-based models across various domains, their full potential in comprehending user behavior remains untapped. In this paper, we re-examine Transformer-like architectures aiming to advance state-of-the-art performance. We start by revisiting the core building blocks of Transformer-based methods, analyzing the effectiveness of the item-to-item mechanism within the context of sequential user modeling. After conducting a thorough experimental analysis, we identify three essential criteria for devising efficient sequential user models, which we hope will serve as practical guidelines to inspire and shape future designs. Following this, we introduce ConvFormer, a simple but powerful modification to the Transformer architecture that meets these criteria, yielding state-of-the-art results. Additionally, we present an acceleration technique to minimize the complexity associated with processing extremely long sequences. Experiments on four public datasets showcase ConvFormer's superiority and confirm the validity of our proposed criteria.

研究の動機と目的

• 自己注意型トークンミキサーの順序ユーザーモデリングにおける有効性を再評価すること。特に、アイテムの順序に対する感受性の低さに注目する。
• 効果的なトークンミキサーのための基本的設計基準を特定すること：順序感度、広い受容 field、軽量アーキテクチャ。
• これらの基準を満たすために、深度方向畳み込み型トークンミキサーを用いた変更版Transformer、すなわちConvFormerを提案すること。
• 長時間系列における計算課題に対処するために、ConvFormer-FというFFTで高速化された変種を導入すること。
• 複数のベンチマークで広範な実験とアブレーションスタディを通じて、提案された基準の有効性を検証すること。

提案手法

• 自己注意機構を深度方向畳み込み（DWC）層に置き換えることで、順序感度の向上と受容 field の拡大を図る。
• パラメータの爆発を防ぐために、DWC層にフル受容 field（FRF）を採用し、長距離依存関係を捉える。
• 長時間系列における推論を高速化するために、フーリエ変換を用いた近似手法を導入した効率的バージョンであるConvFormer-Fを提案する。
• 軽量でスケーラブルな設計と互換性を保つために、Meta-Formerアーキテクチャを採用する。
• シーケンス構造の維持とモデル安定性の確保のため、残差接続と位置埋め込みを維持する。
• 最終的なユーザー表現を用いて、単純なドット積みマッチング関数を適用し、次アイテム予測を実行する。

実験結果

リサーチクエスチョン

• RQ1 標準的な自己注意型トークンミキサーは、スケーラビリティに優れているものの、なぜ順序ユーザーモデリングにおいて性能を発揮できないのか？
• RQ2 高性能な順序ユーザーモデリングを実現するための本質的なアーキテクチャ的特性とは何か？
• RQ3 自己注意機構よりも単純で順序に感受性の高い代替手法が、このタスクにおいて複雑な注意機構を上回ることができるか？
• RQ4 長時間のユーザー行動シーケンスにおいて、計算コストを削減しながらも高い性能を維持するにはどうすればよいか？
• RQ5 提案された設計基準は、さまざまな推薦シナリオに一般化できる程度に汎用的か？

主な発見

• ConvFormerは、Beauty、Sports、Toys、Yelpの4つの公開データセットで最先端の性能を達成し、BERT4Rec、SASRec、FMLPなどのモデルを上回った。
• Yelpデータセットでは、H@10が0.7721に達し、2番目に優れたモデル（0.7597）をp値 < 0.01で顕著に上回った。
• アフィン層をトークンミキサーとして使用するL-Mixerバージョンも強く、提案された基準の有効性を最小限の複雑さで裏付けた。
• FFTで高速化されたConvFormer-Fは、わずかな精度損失で顕著な高速化を達成し、長時間系列に適した設計であることが示された。
• アブレーションスタディの結果、順序感度と広い受容 field が極めて重要であることが確認された一方で、標準的なアイテム同士の注意機構は性能を阻害することが分かった。
• 提案された基準である順序感度、広い受容 field、軽量設計は、今後のモデル設計のための効果的で汎用的な指針であることが実証された。