[論文レビュー] Improving Sequential Recommendations via Bidirectional Temporal Data Augmentation with Pre-training

Juyong Jiang, Zhang, Peiyan+7 more|arXiv (Cornell University)|Dec 13, 2021

Advanced Text Analysis Techniques被引用数 5

ひとこと要約

本稿では、順序付き推薦における短い順序列に対するモデルの頑健性を向上させるために、逆方向のアイテム生成中に前向きの順序一貫性を強制する双方向時系列データ拡張手法BiCATを提案する。自己知識蒸留と情報的サンプリングを統合することで、非常に短い順序列（L ≤ 3）においてSOTAモデルを35.04%上回る平均Recall@5の向上を達成し、短いおよび長い順序列の両方においてASRePおよびSASRecを上回る性能を発揮する。

ABSTRACT

Sequential recommendation systems are integral to discerning temporal user preferences. Yet, the task of learning from abbreviated user interaction sequences poses a notable challenge. Data augmentation has been identified as a potent strategy to enhance the informational richness of these sequences. Traditional augmentation techniques, such as item randomization, may disrupt the inherent temporal dynamics. Although recent advancements in reverse chronological pseudo-item generation have shown promise, they can introduce temporal discrepancies when assessed in a natural chronological context. In response, we introduce a sophisticated approach, Bidirectional temporal data Augmentation with pre-training (BARec). Our approach leverages bidirectional temporal augmentation and knowledge-enhanced fine-tuning to synthesize authentic pseudo-prior items that retain user preferences and capture deeper item semantic correlations, thus boosting the model's expressive power. Our comprehensive experimental analysis on five benchmark datasets confirms the superiority of BARec across both short and elongated sequence contexts. Moreover, theoretical examination and case study offer further insight into the model's logical processes and interpretability. The source code for our study is publicly available at https://github.com/juyongjiang/BARec.

研究の動機と目的

• 非常に短いユーザ順序列（L ≤ 3）における順序付き推薦のコールドスタート問題に対処すること、特に既存手法が性能を発揮できない状況を改善すること。
• ASRePなどの逆方向専用データ拡張手法が、偽の事前アイテム生成時に前向きの順序相関を保持できないという限界を克服すること。
• データ拡張とモデル表現の整合性を高めるために、拡張済み順序列と元の順序列の間で自己知識蒸留を用いてギャップを埋めること。
• 過学習を防止する情報的正例および負例サンプリング戦略を導入することで、学習効率と一般化性能を向上させること。
• BiCATを用いた事前学習フレームワークを構築し、微調整段階での収束速度と性能を向上させること。

提案手法

• 双方向時系列拡張Transformer（BiCAT）を提案し、逆時系列順に偽の事前アイテムを生成する一方で、前向き学習制約を適用して前向きの順序依存性を維持すること。
• 逆方向生成損失に前向き制約を統合し、生成されたアイテムが逆方向に妥当であるだけでなく、次のアイテムの前向き予測とも一貫していることを保証すること。
• 拡張済み順序列と元の順序列の間で自己知識蒸留を適用し、『教師』（拡張済み）モデルから『生徒』（元の）モデルへ文脈知識を転送することで表現学習を向上させること。
• 関連性と多様性に基づいて正例および負例を選択する情報的サンプリング戦略を設計し、最適化の加速と過学習の低減を実現すること。
• 元の順序列と拡張済み順序列の出力分布を揃えるために、双方向Kullback-Leibler（KL）ダイバージェンスを用い、モデルの頑健性と一般化性能を向上させること。
• SASRecをバックボーンとして、BiCATを事前学習段階で適用し、エンドツーエンドでモデルを訓練することで、下流の推薦性能を向上させること。

実験結果

リサーチクエスチョン

• RQ1 前向き順序一貫性を強制する逆方向データ拡張は、短い順序付き推薦の性能向上に寄与するか？
• RQ2 拡張済み順序列と元の順序列の間で自己知識蒸留を適用することで、順序付き推薦におけるモデルの頑健性と表現学習が向上するか？
• RQ3 提案された情報的サンプリング戦略は、一様サンプリングと比較して最適化速度と一般化性能にどのような影響を及ぼすか？
• RQ4 BiCATを用いた事前学習は、順序付き推薦タスクにおける微調整段階の収束性と性能にどの程度向上効果をもたらすか？
• RQ5 Mask、Crop、Replace、Addといった従来のデータ拡張手法と比較して、BiCATは順序構造の保持と推薦精度の両面で優れているか？

主な発見

• BiCATは非常に短い順序列（L ≤ 3）において、SOTAモデルを35.04%上回る平均Recall@5の向上を達成し、ASRePおよびSASRecを顕著に上回る性能を発揮する。
• 長い順序列（20 < L ≤ 50）においても、BiCATはSOTAモデル比でRecall@5を8.76%向上させ、さまざまな順序長にわたる一般化性能を示す。
• BiCATにおける前向き制約付きの逆方向生成により、より高品質な偽の事前アイテムが得られ、前向き順序相関との整合性が高く、t-SNE可視化でも明確なクラスタ形成が確認された。
• 双方向KLダイバージェンスを用いた自己知識蒸留により、拡張済み順序列と元の順序列の分布ギャップが縮小され、BiCATと情報的サンプリングを組み合わせた場合、SASRec比で平均25.49%の性能向上が達成された。
• Mask、Crop、Replace、Addといった従来のデータ拡張手法は、BeautyおよびPhonesの両データセットで性能を低下させる一方、生成ベースの手法（ASRePおよびBiCAT）は性能を向上させ、その中でもBiCATが最も効果的であることが示された。
• t-SNE可視化により、BiCATが類似アイテムの意味的クラスタリングを強化しており、より正確な次アイテム予測と優れた全体的な推薦品質を実現していることが確認された。