[論文レビュー] One Model to Serve All: Star Topology Adaptive Recommender for Multi-Domain CTR Prediction

Xiang-Rong Sheng, Liqin Zhao+9 more|arXiv (Cornell University)|Jan 27, 2021

Recommender Systems and Techniques参考文献 45被引用数 16

ひとこと要約

本論文では、共有されたセンター化ネットワークとドメイン固有のアダプタを用いて、複数のビジネスドメイン間の共通性と相違点を同時に学習する、マルチドメインCTR予測モデルであるStar Topology Adaptive Recommender (STAR)を提案する。要素ごとの乗算による共有重みとドメイン固有重みの適応的組み合わせにより、アリババでの本番環境デプロイでCTRが8.0%向上、RPMが6.0%向上を達成した。

ABSTRACT

Traditional industrial recommenders are usually trained on a single business domain and then serve for this domain. However, in large commercial platforms, it is often the case that the recommenders need to make click-through rate (CTR) predictions for multiple business domains. Different domains have overlapping user groups and items. Thus, there exist commonalities. Since the specific user groups have disparity and the user behaviors may change in various business domains, there also have distinctions. The distinctions result in domain-specific data distributions, making it hard for a single shared model to work well on all domains. To learn an effective and efficient CTR model to handle multiple domains simultaneously, we present Star Topology Adaptive Recommender (STAR). Concretely, STAR has the star topology, which consists of the shared centered parameters and domain-specific parameters. The shared parameters are applied to learn commonalities of all domains, and the domain-specific parameters capture domain distinction for more refined prediction. Given requests from different business domains, STAR can adapt its parameters conditioned on the domain characteristics. The experimental result from production data validates the superiority of the proposed STAR model. Since 2020, STAR has been deployed in the display advertising system of Alibaba, obtaining averaging 8.0% improvement on CTR and 6.0% on RPM (Revenue Per Mille).

研究の動機と目的

• 複数のビジネスドメインを同時にサポートする1つのモデルを訓練する課題に取り組むこと。その際、ユーザーとアイテムの行動に共通性と相違点を捉えること。
• 単一ドメインモデル（低トラフィックドメインでのデータ不足）および完全共有モデル（ドメイン固有のパターンを捉えられない）の限界を克服すること。
• クロスドメインデータを活用しつつ、各ドメインにおける高い予測精度を維持する効率的でスケーラブルなアーキテクチャを設計すること。
• 変動するドメイントラフィックパターンに伴う動的なデータシフトに、リアルタイムでモデルを適応可能にする環境での運用を可能にすること。

提案手法

• 各ビジネスドメインに対して、共有されたセンター化ネットワークとドメイン固有のアダプターネットワークを備えたスターフォーマットのアーキテクチャを提案する。
• 要素ごとの乗算により共有重みとドメイン固有重みを組み合わせ、ドメイン固有の予測ヘッドを生成する。
• 共有ネットワークを全ドメインのデータで訓練して共通性を捉え、ドメインアダプタはドメイン固有のデータから学習する。
• ドメイン間の違いを強化するため、敵対的損失を用いた補助ネットワークを導入し、ドメイン特徴の利用と矛盾しないようにする。
• 変動するドメイントラフィック分布に適応するため、トレーニングパイプラインにスライディングウィンドウバッファを実装する。
• 推論時に各ドメインごとの全結合層重みを事前に計算することで、共有ボトムモデルと同等の低レイテンシを維持する。

実験結果

リサーチクエスチョン

• RQ1 1つの統合モデルが、複数のビジネスドメインにおけるCTR予測において、共通パターンとドメイン固有の行動を効果的に捉えることができるか？
• RQ2 パラメータ共有とドメイン固有の適応をどのようにバランスさせるかが、推論コストを増加させずに性能向上を実現できるか？
• RQ3 ドメイントラフィック分布が時間とともに変動する状況でも、安定したオンライン学習を保証するトレーニング戦略は何か？
• RQ4 ドメイン固有の特徴を組み込むことで、多様なドメインにおけるモデルのキャリブレーションと予測精度はどの程度向上するか？
• RQ5 提案されたアーキテクチャは、数百のビジネスドメインを含む実世界の本番環境システムで顕著な性能向上を達成できるか？

主な発見

• STARは、アリババのディスプレイ広告システムにおいて、前回の本番モデル（Base model）と比較して、全体のCTRが8.0%相対的に向上した。
• RPM（1000回あたりの収益）は6.0%増加し、予測精度の向上に加え、明確なビジネスインパクトを示した。
• PCOC（予測CTR / CTR）分析から、STARの予測は全ドメインにおいてより良好にキャリブレートされており、1.0に近い値を示した。
• 敵対的損失を用いた補助ネットワークは、すべてのベースライン手法において一貫して性能向上をもたらしたが、MulANNでは目的の衝突により効果がわずかに弱まった。
• スライディングウィンドウバッファを用いたトレーニング戦略は、特に動的なトラフィックシフト下でも、通常の順序オンライン更新と比較して、トレーニングの安定性を顕著に向上させた。
• STARは2020年末以降、本番環境で60以上のビジネスドメインにデプロイされて運用されており、モデルの複雑化にもかかわらず、推論速度の低下は観察されなかった。