[論文レビュー] A Collaborative Transfer Learning Framework for Cross-domain Recommendation

Wei Zhang, Pengye Zhang+3 more|arXiv (Cornell University)|Jun 26, 2023

Recommender Systems and TechniquesComputer Science被引用数 3

ひとこと要約

本論文は、情報利得に基づいてソースドメインのサンプルに動的重みを付与する協調的クロスドメイン転移学習（CCTL）フレームワークを提案する。対称的コンpanionネットワークと情報フローネットワークを用いて、負の転移を防ぐ。CCTLはオフライン評価指標で最先端の性能を達成し、Meituanでの実稼働環境で4.37% CTR上昇および5.43% GMV上昇を達成した。

ABSTRACT

In the recommendation systems, there are multiple business domains to meet the diverse interests and needs of users, and the click-through rate(CTR) of each domain can be quite different, which leads to the demand for CTR prediction modeling for different business domains. The industry solution is to use domain-specific models or transfer learning techniques for each domain. The disadvantage of the former is that the data from other domains is not utilized by a single domain model, while the latter leverage all the data from different domains, but the fine-tuned model of transfer learning may trap the model in a local optimum of the source domain, making it difficult to fit the target domain. Meanwhile, significant differences in data quantity and feature schemas between different domains, known as domain shift, may lead to negative transfer in the process of transferring. To overcome these challenges, we propose the Collaborative Cross-Domain Transfer Learning Framework (CCTL). CCTL evaluates the information gain of the source domain on the target domain using a symmetric companion network and adjusts the information transfer weight of each source domain sample using the information flow network. This approach enables full utilization of other domain data while avoiding negative migration. Additionally, a representation enhancement network is used as an auxiliary task to preserve domain-specific features. Comprehensive experiments on both public and real-world industrial datasets, CCTL achieved SOTA score on offline metrics. At the same time, the CCTL algorithm has been deployed in Meituan, bringing 4.37% CTR and 5.43% GMV lift, which is significant to the business.

研究の動機と目的

• データ量や特徴スキーマが異なるソースドメインが存在する状況において、クロスドメインCTR予測における負の転移とデータの不均衡の課題に対処すること。
• ファインチューニングにおけるドメインシフトや局所最適解の影響を受けることなく、データ豊富なドメインからデータが乏しいドメインへの有効な知識転移を可能にすること。
• 各ソースサンプルがターゲットドメインに与える真の情報利得を評価する手法を開発し、すべてのソースデータを無差別に使用するのを避けること。
• 補助的表現強化ネットワークを通じて、ドメイン固有の特徴を保持するとともに、協調的転移を可能にすること。
• 特に低データ環境下において、公開ベンチマークおよび実世界の産業データセットの両方で優れた性能を達成すること。

提案手法

• 対称的コンpanionネットワーク（SCN）は、ターゲット＋ソースサンプルの混合モデルと純粋なターゲットモデルを対称的なアーキテクチャで学習させ、ソースサンプルがターゲットドメインに与える情報利得を推定する。
• 情報フローネットワーク（IFN）は、SCNの二つのブランチ間の予測性能の差を測定することで、サンプルレベルの転移重みを計算し、動的でサンプル固有の転移重みを実現する。
• 表現強化ネットワーク（REN）は対照学習を用いてドメイン固有の特徴を保持し、モデルが各ドメインの固有の特徴を維持できるようにする。
• 主なCTR予測タスクとRENの補助タスクを同時に最適化することで、一般化性能とロバストネスを向上させる。
• SCNとIFNは、有益なソースサンプルに対しては高い転移重み、有害または関係のないサンプルに対しては低い重みを付与するように、損失関数を用いてエンドツーエンドで学習する。
• モデルアーキテクチャは、既存のディープCTRモデルと互換性があり、アテンション、MLP、埋め込み層などの技術と統合可能である。

Figure 1 . An overview of the CCTL model. a)Symmetric Companion Network(SCN) evaluates the information gain from the source domain samples to the target domain through the dual-tower framework. b)Information Flow Network(IFN) evaluates how much information can be brought by each source sample, and h

実験結果

リサーチクエスチョン

• RQ1 個々のソースドメインサンプルがターゲットドメインへの転移に与える情報利得を、どのように動的に評価できるか？
• RQ2 データ豊富なドメインからデータが乏しいドメインに転移する際、顕著なドメインシフトが生じる状況で、負の転移を防ぐにはどのようなメカニズムが必要か？
• RQ3 効果的なクロスドメイン知識転移を実現しつつ、ドメイン固有の特徴をどのように保持できるか？
• RQ4 協調的転移学習フレームワークは、標準的なマルチタスク学習やファインチューニングのベースラインを上回ることができるか？
• RQ5 このようなフレームワークは、CTRやGMVといった実世界のビジネス指標をどの程度向上させることができるか？

主な発見

• CCTLは、オフライン評価指標において、公開データセットおよび実世界の産業データセットの両方で最先端の性能を達成した。
• Meituanの推薦システムに導入した際、クリックストラックレート（CTR）が4.37%の絶対上昇を達成した。
• CCTLは、粗利益売上高（GMV）を5.43%増加させ、顕著なビジネスインパクトを示した。
• アブレーションスタディの結果、対称的コンpanionネットワークと情報フローネットワークの両方が性能向上に不可欠であることが確認され、特にIFNが負の転移を顕著に低減した。
• 表現強化ネットワークはドメイン固有の特徴を効果的に保持しており、ドメイン間での一般化性能の向上に寄与した。
• 特に低データ環境下において、標準的な転移学習やマルチタスク学習のベースラインを上回る性能を発揮し、有益なソースサンプルを知能的にフィルタリングする能力を示した。

Figure 2 . An illustration of the SCN component.