[論文レビュー] Advances and Challenges of Multi-task Learning Method in Recommender System: A Survey

Mingzhu Zhang, Ruiping Yin+3 more|arXiv (Cornell University)|May 23, 2023

Recommender Systems and Techniques被引用数 6

ひとこと要約

本サーベイは、推薦システムにおけるマルチタスク学習（MTL）について包括的かつ体系的なレビューを提供し、タスク関係の同定、モデルアーキテクチャ、最適化戦略の観点から手法を分類している。主な課題と今後の方向性として、公平性、プライバシー、未だ十分に検討されていない推薦シナリオを特定し、MTLベースの推薦システム分野の研究者・実務家にとって基盤的リファレンスを提供する。

ABSTRACT

Multi-task learning has been widely applied in computational vision, natural language processing and other fields, which has achieved well performance. In recent years, a lot of work about multi-task learning recommender system has been yielded, but there is no previous literature to summarize these works. To bridge this gap, we provide a systematic literature survey about multi-task recommender systems, aiming to help researchers and practitioners quickly understand the current progress in this direction. In this survey, we first introduce the background and the motivation of the multi-task learning-based recommender systems. Then we provide a taxonomy of multi-task learning-based recommendation methods according to the different stages of multi-task learning techniques, which including task relationship discovery, model architecture and optimization strategy. Finally, we raise discussions on the application and promising future directions in this area.

研究の動機と目的

• マルチタスク学習（MTL）に関する包括的な文献レビューの不足に応えるため、研究分野および産業界での採用が増加しているにもかかわらず、その分野における包括的レビューが不足していること。
• タスク関係の同定、モデルアーキテクチャ、最適化戦略という3つのコア段階に従って、既存のMTLベースのRS手法を体系的に分類すること。
• 公平性、プライバシー保護、MTL-RSにおける未検討の推薦シナリオといった重要な課題を特定・議論すること。
• MTLベースの推薦システム分野における現在の進捗を理解し、今後の研究を導くための統一的かつ包括的なリファレンスを研究者・実務家に提供すること。

提案手法

• Google ScholarおよびDBLPを用いた体系的文献レビューを実施し、キーワード「recommendation」「multi-task learning」「recommender system」に焦点を当てる。
• KDD、RecSys、WWW、SIGIR、IJCAI、TKDEなどトップクラスの国際会議・学術誌から100件以上の関連研究を収集し、提示された分類法に従って分類する。
• 分類フレームワークは、MTL-RS手法を以下の3段階に分類する：(1) タスク関係の同定（例：アテンション、メタラーニング、クラスタリングを用いた手法）、(2) モデルアーキテクチャ（例：共有ボトム、Deep & Cross、アダプタベース設計）、(3) 最適化戦略（例：勾配ベース、損失重み付け、不確実性ベース手法）。
• 各手法カテゴリの性能と限界を評価し、パラメータ共有、一般化性能、スケーラビリティのトレードオフに特に注目する。
• 近年のフレームワークを参照しながら、公平性（例：人気バイアス、文化的差別の懸念）とプライバシー（例：フェデレーテッド学習、微分プライバシー）といった新たな課題を議論する。
• 今後の研究方向性として、会話型、ソーシャル、医療推薦システムなど未検討のシナリオへの応用可能性を提案する。

実験結果

リサーチクエスチョン

• RQ1 タスク関係、アーキテクチャ、最適化の観点から、マルチタスク学習手法は現在どのように分類・応用されているか？
• RQ2 MTLがデータスパarsity、コールドスタート、モデル保守コストといった一般的なRS課題に対し、どのような主な利点を提供するか？
• RQ3 MTLベースの推薦システムにおける主な未解決課題、特に公平性とプライバシー保護に関する課題は何か？
• RQ4 会話型、ソーシャル、医療推薦システムなど、未検討の推薦シナリオにおいて、MTLが潜在的な可能性をどのように発揮できるか？
• RQ5 高い推薦精度を維持しつつ、MTLをどのように拡張して公平性とプライバシー保護を向上させられるか？

主な発見

• MTLを用いることで、パラメータ共有と補助タスクの活用により、データスパarsityの緩和とモデル一般化性能の向上が実現される。
• MTLの活用により、複数の単一タスクモデルを1つの統合モデルに置き換えることで、保守コストの低減とオンライン推論の高速化が達成される。
• 公平性に配慮したMTLアプローチ（例：公平性に配慮した埋め込みを学習する手法）は、露出バイアスの低減と、レアなユーザー・アイテムの表現向上に有効であると示唆されている。
• 共分散行列の摂動やフェデレーテッドラーニングを用いるプライバシー保護型MTLフレームワークは登場しているが、推薦システム分野ではまだ十分に検討されていない。
• YouTube、Tencent Videoなどでの成功した産業応用にもかかわらず、会話型やソーシャル推薦のような複雑なシナリオではMTLが未だに活用されていないため、研究の余地が著しく大きい。
• 本サーベイは、MTLがビジョンやNLP分野では広く応用されている一方で、推薦システム分野への統合には包括的かつ体系的なサーベイが不足しているという重要な研究ギャップを特定した。本研究はこのギャップを埋める。