[論文レビュー] APG: Adaptive Parameter Generation Network for Click-Through Rate Prediction

Bencheng Yan, Pengjie Wang+5 more|arXiv (Cornell University)|Mar 30, 2022

Recommender Systems and Techniques被引用数 15

ひとこと要約

本論文は、クリック予測における個々のインスタンスに特化したモデル重みを動的に生成する新規の適応的パラメータ生成ネットワークAPGを提案する。これにより、インスタンス固有のパターンを捉えることで表現力が向上する。APGは産業的導入において最大3%のCTR向上と1%のRPM向上を達成し、標準モデルと比較してメモリ使用量を96.6%削減し、学習時間を38.7%短縮する。また、既存の深層CTRアーキテクチャに普遍的に適用可能である。

ABSTRACT

In many web applications, deep learning-based CTR prediction models (deep CTR models for short) are widely adopted. Traditional deep CTR models learn patterns in a static manner, i.e., the network parameters are the same across all the instances. However, such a manner can hardly characterize each of the instances which may have different underlying distributions. It actually limits the representation power of deep CTR models, leading to sub-optimal results. In this paper, we propose an efficient, effective, and universal module, named as Adaptive Parameter Generation network (APG), which can dynamically generate parameters for deep CTR models on-the-fly based on different instances. Extensive experimental evaluation results show that APG can be applied to a variety of deep CTR models and significantly improve their performance. Meanwhile, APG can reduce the time cost by 38.7\% and memory usage by 96.6\% compared to a regular deep CTR model. We have deployed APG in the industrial sponsored search system and achieved 3\% CTR gain and 1\% RPM gain respectively.

研究の動機と目的

• 深層CTRモデルにおける静的かつ共有されるパラメータの限界、特にインスタンス固有の特徴分布を捉えられない点を是正すること。
• モデルの複雑さやストレージを増加させることなく、動的でインスタンスに配慮したパラメータ生成を可能にすることで、モデルの表現力の向上を図ること。
• 計算コストとメモリコストを低減しながら、予測精度を維持または向上させる効率的でスケーラブルなモジュールを設計すること。
• さまざまな深層CTRモデルと互換性があり、広範な産業的適用性を提供する普遍的なソリューションを提供すること。

提案手法

• APGは、入力特徴をコンテキストとして用いる条件に配慮したニューラルネットワークを用いて、インスタンス固有の重み行列を動的に生成する。
• 生成された重み行列を3つの行列（U_i S_i V_i）の低ランク積としてパrameter化し、S_iを動的に生成されるコアパラメータ行列とする。
• この分解により、計算およびメモリコストがO(NMD)からO(KKD)に低下し、K ≪ min(N,M)であるためスケーラビリティが向上する。
• 推論時に完全な重み行列を再構築しない分解済みのフィードフォワード機構を採用することで、効率性が向上する。
• 細粒度および粗粒度のパラメータ割り当て戦略を両方サポートし、後者は特にメモリ使用量を大幅に削減する。
• 標準的な全結合層を適応的パラメータ生成モジュールに置き換えることで、既存の深層CTRモデルにスムーズに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 動的でインスタンスに特化したパラメータ生成は、静的パラメータ共有を超えて深層CTRモデルの表現能力を向上させ得るか？
• RQ2 Web規模のCTR予測システムにおいて、適応的パラメータ生成を計算およびメモリ効率的に実現する方法は何か？
• RQ3 特にデータが少ない状況下で、APGはStar や MMoE のような粗粒度パラメータ割り当て手法よりも一般化性能に優れるか？
• RQ4 潜在空間におけるクラスタリングの観察から、APGは異なるインスタンス固有パラメータ間の関係を暗黙的に学習していると示唆されるか？
• RQ5 実世界の産業的CTR予測システムにAPGを適用する際、性能向上と計算効率のトレードオフはどのようなものか？

主な発見

• APGはアリババの産業的スポンサードサーチシステムに導入された際、CTRで相対的に3%の向上、RPMで1%の向上を達成した。
• 標準的な深層CTRモデルと比較して、APGはメモリ使用量を96.6%削減し、学習時間を38.7%短縮した。
• MovieLensにおける細粒度設定では、APGのメモリコストが0.24Mにまで低下したのに対し、同設定でStarは3784.23Mを記録した。
• 主成分分析（PCA）を用いた可視化により、生成された特定パラメータ（S_i）がカテゴリごとに意味的にクラスタリングされていることが示され、パラメータ関係の暗黙的学習が裏付けられた。
• 特にデータが限られる細粒度設定において、APGはStar や MMoE のような粗粒度パラメータ割り当て手法を上回り、効率性と有効性の両面で優れた性能を示した。
• 本手法は普遍的に適用可能であり、アーキテクチャの大幅な見直しを伴わず、複数の深層CTRモデルで性能向上を実現した。