[論文レビュー] A Survey on Incremental Update for Neural Recommender Systems

Peiyan Zhang, Sunghun Kim|arXiv (Cornell University)|Mar 6, 2023

Recommender Systems and Techniques被引用数 6

ひとこと要約

本サーベイは、産業応用におけるオフラインバッチ学習とリアルタイムデータストリーミングのギャップを埋めるために、ニューラルレコメンデーションシステムにおける段階的更新（IURS）を体系的かつ包括的に調査する。既存の手法を分類し、概念のずれや災難的忘却といった課題を分析し、効率性、評価、公平性の分野における主な未解決問題を特定する。

ABSTRACT

Recommender Systems (RS) aim to provide personalized suggestions of items for users against consumer over-choice. Although extensive research has been conducted to address different aspects and challenges of RS, there still exists a gap between academic research and industrial applications. Specifically, most of the existing models still work in an offline manner, in which the recommender is trained on a large static training set and evaluated on a very restrictive testing set in a one-time process. RS will stay unchanged until the next batch retrain is performed. We frame such RS as Batch Update Recommender Systems (BURS). In reality, they have to face the challenges where RS are expected to be instantly updated with new data streaming in, and generate updated recommendations for current user activities based on the newly arrived data. We frame such RS as Incremental Update Recommender Systems (IURS). In this article, we offer a systematic survey of incremental update for neural recommender systems. We begin the survey by introducing key concepts and formulating the task of IURS. We then illustrate the challenges in IURS compared with traditional BURS. Afterwards, we detail the introduction of existing literature and evaluation issues. We conclude the survey by outlining some prominent open research issues in this area.

研究の動機と目的

• 学術的なオフラインレコメンデーションシステムの研究と、産業界におけるリアルタイム更新のニーズとの乖離を是正すること。
• 従来のバッチ更新レコメンデーションシステム（BURS）とは別個のパラダイムとして、段階的更新レコメンデーションシステム（IURS）のタスクを明確に定式化すること。
• 概念のずれ、災難的忘却、検索効率性といった課題に対処する手法に基づいて、既存のIURS手法を体系的に整理・分類すること。
• 精度以外の重要な評価課題、特にオンラインレコメンデーションシステムにおける公平性、多様性、人気バイアスを強調すること。
• 継続的学習や付加的情報との統合を含む、今後の研究課題と方向性を同定すること。

提案手法

• 核心的な課題（概念のずれ、災難的忘却、検索効率性）に基づいてIURS手法を分類すること。
• ストリーミングデータによるモデル更新を可能にする技術、例えばオンラインファインチューニング、パラメータ分離、勾配整合化をサーベイすること。
• 古い知識と新しい知識の干渉を低減する手法を検討し、例えば横方向抑制にインspiredされた表現の相関除去や、勾配整合化のためのメタラーニングを含む。
• 推論時間の複雑さを線形から定数時間に削減するための検索最適化戦略をレビューする。具体的には、埋め込みベースの候補サンプリングやキュー型ネガティブサンプリングを含む。
• 精度を超えた評価フレームワークを提案し、公平性、多様性、バイアス低減を含むインクリメンタル設定における評価を拡張すること。
• IURSをハイブリッド、クロスドメイン、コンテキストに配慮したレコメンデーションといった、広範なRS研究分野と結びつける。継続的学習との統合を提案する。

実験結果

リサーチクエスチョン

• RQ1 従来のバッチ更新レコメンデーションシステム（BURS）と比較して、段階的更新レコメンデーションシステム（IURS）を設計する上での主な違いと課題は何か？
• RQ2 ストリーミングデータを効率的に更新しながら、災難的忘却や概念のずれを回避するには、どのようにニューラルレコメンデーションモデルを更新できるか？
• RQ3 特に大規模な検索シナリオにおいて、IURSにおける推論時間の短縮に最も効果的な技術は何か？
• RQ4 IURSにおける評価指標は、精度を超えてどのように拡張できるか？公平性、多様性、バイアス低減を含む。
• RQ5 IURSを継続的学習、付加的情報、クロスドメインレコメンデーションと統合するにあたり、有望な研究分野は何か？

主な発見

• 既存のニューラルレコメンデーションシステムは主にオフラインバッチ学習で訓練されており、新規のユーザーアクティビティへの反応が遅れる。
• IURSは、ユーザークリックや新規アイテムの登場といった新規データに即座に適応できる実世界の応用において不可欠である。
• 表現の相関除去や勾配整合化といった技術は、段階的更新中の災難的忘却を軽減するのに有効である。
• キュー型ネガティブサンプリングと埋め込みベースの検索は、推論時間の複雑さを線形から定数時間に低下させ、スケーラビリティを著しく向上させる。
• IURSの評価は、精度を超えて公平性や多様性を含むべきであり、特に頻繁に相互作用されるアイテムに有利な人気バイアスを是正するためである。
• 効率的な検索、頑健な評価、継続的学習および豊富な付加的情報との統合といった未解決の課題が依然として存在する。