[論文レビュー] Multi-Task Deep Recommender Systems: A Survey

Yuhao Wang, Ha Tsz Lam+7 more|arXiv (Cornell University)|Feb 7, 2023

Recommender Systems and Techniques被引用数 7

ひとこと要約

この論文は、マルチタスク深層推薦システム（MTDRS）に関する包括的な調査を提供し、問題定義、分類法（タスク間関係と手法）、データセット、応用、および今後の課題を網羅する。

ABSTRACT

Multi-task learning (MTL) aims at learning related tasks in a unified model to achieve mutual improvement among tasks considering their shared knowledge. It is an important topic in recommendation due to the demand for multi-task prediction considering performance and efficiency. Although MTL has been well studied and developed, there is still a lack of systematic review in the recommendation community. To fill the gap, we provide a comprehensive review of existing multi-task deep recommender systems (MTDRS) in this survey. To be specific, the problem definition of MTDRS is first given, and it is compared with other related areas. Next, the development of MTDRS is depicted and the taxonomy is introduced from the task relation and methodology aspects. Specifically, the task relation is categorized into parallel, cascaded, and auxiliary with main, while the methodology is grouped into parameter sharing, optimization, and training mechanism. The survey concludes by summarizing the application and public datasets of MTDRS and highlighting the challenges and future directions of the field.

研究の動機と目的

• MTDRSを定義し、推奨とMT学習に関連する分野と区別する。
• タスク関係と手法に基づくMTDRSの分類法を提案する。
• MTDRSの訓練メカニズム、最適化戦略、パラメータ共有パターンをレビューする。
• MTDRSの応用と公開データセットを要約し、主な課題と将来の方向性を概説する。

提案手法

• MTDRSを共有パラメータとタスク固有パラメータを持つマルチタスク学習問題として定式化し、加重損失を用いる。 損失の重み付け戦略を議論し、更新可能な損失重み（PLE）を含む。 タスク関係を並列、連鎖、主タスク付き補助の分類。 手法をパラメータ共有、最適化、訓練メカニズムのカテゴリに分ける。 MTDRSをマルチ目標、マルチシナリオ、マルチビヘイビア推薦、およびCV/NLPにおけるMT学習と比較する。
• 2-5の主要技術と式:
• - MTDRS最適化目的：argmin_{theta^1,...,theta^K} frac{}{}\, sum_k omega^k L^k(theta^s, theta^k)。
• - L^k はスコア予測タスクに対してBCE損失であることが多い。
• - 更新可能な損失重み：omega_t^k = omega_0^k * gamma_k^t。

実験結果

リサーチクエスチョン

• RQ1 MTDRSを最もよく表現する問題設定は何で、他の類似研究領域との関係はどうなるか？
• RQ2 MTDRSをタスク関係と共有/最適化戦略でどのように分類できるか？
• RQ3 MTDRSのデータセット、応用、評価リソースにはどんなものがあるか？
• RQ4 MTDRS研究の主な課題と有望な方向性は何か？

主な発見

• MTDRSは、タスク関係（並列、連鎖、主タスク付き補助）と共有/最適化/訓練手法によって体系的に整理できる。
• ハード共有、ソフト共有、スパース共有、エキスパート共有はMTDRSにおけるコアなパラメータ共有パラダイムであり、MMoEのようなMoEベースのアプローチが影響力を持つ。
• 連鎖モデルは逐次的な行動（例: impression -> click -> conversion）に焦点を当て、バイアスと sparsityを解決する。補助タスク設定は補助信号を活用して主タスクを改善する。
• ネガティブトランスファー、マルチシナリオモデリング、大規模事前学習モデル、AutoML、説明性、タスク固有のバイアスなどが将来の重要な方向性として議論されつつある。
• 公開データセットと応用領域（eコマース、広告、ソーシャルメディア）の広範な概要を示し、MTDRS研究を支援する。