[論文レビュー] A Brief History of Recommender Systems

Zhenhua Dong, Zhe Wang+3 more|arXiv (Cornell University)|Sep 5, 2022

Recommender Systems and Techniques被引用数 6

ひとこと要約

この論文は、ウェブレコメンデーションシステムの包括的な歴史的概要を提供し、協調フィルタリングからディープラーニングへの推薦モデルの進化、およびインダストリアルスケールの3層アーキテクチャの発展をたどる。主なマイルストーン、技術的シフト、および今後のトレンドを強調し、ユーザー中心の設計、マルチモーダル学習、責任あるAIの実装を重視する。

ABSTRACT

Soon after the invention of the Internet, the recommender system emerged and related technologies have been extensively studied and applied by both academia and industry. Currently, recommender system has become one of the most successful web applications, serving billions of people in each day through recommending different kinds of contents, including news feeds, videos, e-commerce products, music, movies, books, games, friends, jobs etc. These successful stories have proved that recommender system can transfer big data to high values. This article briefly reviews the history of web recommender systems, mainly from two aspects: (1) recommendation models, (2) architectures of typical recommender systems. We hope the brief review can help us to know the dots about the progress of web recommender systems, and the dots will somehow connect in the future, which inspires us to build more advanced recommendation services for changing the world better.

研究の動機と目的

• レコメンデーションシステムの発展を年代順に記録し、モデルの進化とシステムアーキテクチャに焦点を当てる。
• レコメンデーションシステムの進化を形作ってきた主な技術的要因およびアプリケーション駆動要因を特定する。
• レコメンデーション研究における評価基準の、精度志向からユーザー中心への移行を分析する。
• レコメンデーションシステムの今後の方向性を予測する。特に、事前学習モデル、マルチモーダル学習、因果推論を含む。
• 研究者および実務家がレコメンデーションシステムの歴史的・技術的トレンドを理解するための基盤的リファレンスを提供する。

提案手法

• 1990年代からレコメンデーションシステムの歴史をたどり、協調フィルタリングを提唱したTapestry（1992年）およびGroupLens（1994年）を出発点とする。
• レコメンデーションモデルの進化をレビューし、ユーザー・アイテム協調フィルタリング、行列分解（SVD）、および後続のディープラーニングモデル（例：Wide & Deep、DeepFM、YouTubeDNN、DIN、DIEN）を含む。
• インダストリアルスケールの3層アーキテクチャ（オフライン：モデル学習、オンラインサービス：リアルタイム推論、ニアライン：リアルタイム特徴量/モデル更新）の登場を分析する。
• 特徴工学と表現学習の役割を検討し、因子分解機械（FMs）、フィールドに依存するFMs（FFMs）、および再現可能性を高めるオープンベンチマーク（例：FuxiCTR）を含む。
• ユーザー中心の評価へのシフト、および現代のレコメンデーションシステムにおける因果推論、知識グラフ、説明可能性の統合を検討する。
• 今後の研究の方向性を提言する。特にマルチモーダル事前学習、自己教師あり学習、会話型および汎用知能アシスタントの開発を含む。

実験結果

リサーチクエスチョン

• RQ1 過去30年間にわたり、協調フィルタリングからディープラーニングに至るまでのレコメンデーションモデルの進化はどのように行われたか？
• RQ2 現代のインダストリアルレコメンデーションシステムの主なアーキテクチャ的構成要素は何か？ また、それらはリアルタイムかつスケーラブルなレコメンデーションをどのように支援するか？
• RQ3 レコメンデーションシステムの進化を牽引した主な技術的要因およびアプリケーション駆動要因は何か？
• RQ4 レコメンデーションシステムの評価は、精度志向からユーザー中心的・責任ある指標へどのように移行したか？
• RQ5 今後のトレンドとして予想されるもの（例：事前学習、マルチモーダル学習、因果モデリング）は、次世代のレコメンデーションシステムにどのように影響を与えるか？

主な発見

• GroupLensプロジェクト（1997年）とMovieLensデータセットの公開は、学術的リサーチの基盤を築き、レコメンデーション研究の標準ベンチマークを確立した。
• 協調フィルタリング、特にSVDやSVD++といった行列分解モデルは、Netflix賞（2006–2009年）以降に顕著な性能向上を達成した。
• ロジスティック回帰およびその拡張（例：FFM）は、インダストリアルなCTR予測において支配的となった。特徴工学と最適化技術の向上が寄与した。
• Wide & Deep、DeepFM、YouTubeDNNなどのディープラーニングモデルは、YouTube やモバイルアプリケーションなど大規模応用分野において、レコメンデーション精度を顕著に向上させた。
• オフライン、オンライン、ニアラインの3層インダストリアルアーキテクチャは、学習効率、リアルタイム推論、動的特徴量更新のバランスを取る標準的なアーキテクチャとなった。
• 今後のレコメンデーションシステムは、マルチモーダル事前学習、因果推論、説明可能性を統合することで、公平性、透明性、長期的ユーザー利益の向上が期待される。