[論文レビュー] Long Short-Term Temporal Meta-learning in Online Recommendation

Ruobing Xie, Yalong Wang+5 more|arXiv (Cornell University)|May 8, 2021

Recommender Systems and Techniques被引用数 4

ひとこと要約

本稿では、オンライン推薦のための新規フレームワークであるLong Short-Term Temporal Meta-learning (LSTTM) を提案する。このフレームワークは、GATベースの集約器を用いて、グローバルなマルチソース行動グラフによるユーザーの長期的嗜好と、内部時系列グラフによる短期的嗜好を統合的にモデル化する。時間的MAML戦略と非同期最適化を採用することで、リアルタイムトレンドへの高速適応が可能となり、WeChat Top Storiesにおけるオフラインおよびオンライン評価で顕著な向上を達成した。

ABSTRACT

An effective online recommendation system should jointly capture users' long-term and short-term preferences in both users' internal behaviors (from the target recommendation task) and external behaviors (from other tasks). However, it is extremely challenging to conduct fast adaptations to real-time new trends while making full use of all historical behaviors in large-scale systems, due to the real-world limitations in real-time training efficiency and external behavior acquisition. To address these practical challenges, we propose a novel Long Short-Term Temporal Meta-learning framework (LSTTM) for online recommendation. It arranges user multi-source behaviors in a global long-term graph and an internal short-term graph, and conducts different GAT-based aggregators and training strategies to learn user short-term and long-term preferences separately. To timely capture users' real-time interests, we propose a temporal meta-learning method based on MAML under an asynchronous optimization strategy for fast adaptation, which regards recommendations at different time periods as different tasks. In experiments, LSTTM achieves significant improvements on both offline and online evaluations. It has been deployed on a widely-used online recommendation system named WeChat Top Stories, affecting millions of users.

研究の動機と目的

• 大規模オンライン推薦システムにおけるユーザーの長期的および短期的嗜好を統合的にモデル化する課題に対処すること。
• 複数のアプリケーションにまたがる内部および外部ユーザー行動の非効率性と非同期性を克服すること。
• 高価な再トレーニングや微調整を伴わず、リアルタイムトレンドへの高速オンライン適応を可能にすること。
• オンライン計算コストを最小限に抑えることで、実世界の展開における効果性と効率性のバランスを図ること。

提案手法

• ユーザーの安定的で長期的な嗜好をモデル化するため、マルチソースの内部および外部行動を統合したグローバル長期グラフを構築する。
• 最近の、タスク固有の行動に注目した内部短期グラフを構築し、動的で短期的な関心を捉える。
• 両方のグラフからの表現学習のため、異なる近隣サンプリング戦略を用いたグラフ自己注意ネットワーク（GAT）を適用する。
• 文脈に基づいて短期的および長期的表現を適応的に統合するゲーティングメカニズムを導入する。
• 時間的メタラーニング戦略を設計し、MAMLに基づいて異なる時間帯の推薦を別々のタスクとして扱い、高速適応を実現する。
• トレーニングと推論を分離する非同期最適化スキームを実装し、オンライン推論遅延を低減する。

実験結果

リサーチクエスチョン

• RQ1 異種の内部および外部行動から、推薦システムが長期的および短期的ユーザー嗜好を効果的にモデル化できるか？
• RQ2 MAMLに基づく時間的メタラーニングは、最小限の計算コストで新しいトレンドへの高速適応を可能にするか？
• RQ3 他のアプリケーションからの外部行動は、特にコールドスタート状況において、推薦パフォーマンスの向上に寄与するか？
• RQ4 GATベースの集約やマルチホップ近隣類似度損失といったアーキテクチャ的要素が、モデルパフォーマンスに与える影響は何か？

主な発見

• WeChat Top StoriesにおけるオンラインA/Bテストで、LSTTMはクリック率（CTR）を9.60%相対的に向上させ、平均クリック数（ACN）を9.93%向上させた。
• HCRは3.42%向上し、平均滞在時間は2.52%向上し、ユーザーの関与度と満足度の向上を示した。
• 時間的MAMLコンponentは、新規トピックの変動が著しい期間（特に期間2および期間3）で顕著なパフォーマンス向上を示した。
• グローバル長期グラフ（外部行動）を削除した場合、性能に顕著な低下が見られ、マルチソース行動統合の価値が裏付けられた。
• ゲーティングベースの統合メカニズムは、単純な連結よりも優れており、よりパーソナライズされ効果的な表現統合を可能にした。
• アブレーションスタディにより、GATベースの集約とマルチホップ近隣類似度損失が、多様で変化するユーザー嗜好を捉える上で極めて重要であることが確認された。