[論文レビュー] CAN: Revisiting Feature Co-Action for Click-Through Rate Prediction.

Guorui Zhou, Weijie Bian+14 more|arXiv (Cornell University)|Nov 11, 2020

Image and Video Quality Assessment参考文献 22被引用数 9

ひとこと要約

本論文は、構造化されたアテンションメカニズムを通じて非線形な特徴の協働作用（集合的特徴相互作用）を明示的に捉えることで、クリック予測確率（CTR）予測のための新しい深層学習モデル、特徴協働ネットワーク（CAN）を提案する。CANは予測精度を向上させるとともに、計算コストとストレージコストを削減し、アリババでの産業的導入において12%高いCTRと8%高いRPMを達成した。

ABSTRACT

Inspired by the success of deep learning, recent industrial Click-Through Rate (CTR) prediction models have made the transition from traditional shallow approaches to deep approaches. Deep Neural Networks (DNNs) are known for its ability to learn non-linear interactions from raw feature automatically, however, the non-linear feature interaction is learned in an implicit manner. The non-linear interaction may be hard to capture and explicitly model the extit{co-action} of raw feature is beneficial for CTR prediction. extit{Co-action} refers to the collective effects of features toward final prediction. In this paper, we argue that current CTR models do not fully explore the potential of feature co-action. We conduct experiments and show that the effect of feature co-action is underestimated seriously. Motivated by our observation, we propose feature Co-Action Network (CAN) to explore the potential of feature co-action. The proposed model can efficiently and effectively capture the feature co-action, which improves the model performance while reduce the storage and computation consumption. Experiment results on public and industrial datasets show that CAN outperforms state-of-the-art CTR models by a large margin. Up to now, CAN has been deployed in the Alibaba display advertisement system, obtaining averaging 12\% improvement on CTR and 8\% on RPM.

研究の動機と目的

• 既存のCTR予測モデルにおける特徴協働作用の未利用状態を是正すること。これらのモデルは非線形相互作用を暗黙的に学習している。
• 特徴協働作用を明示的にモデル化することで、CTR予測性能に顕著な改善が得られるかどうかを調査すること。
• 計算コストやストレージコストの増加を伴わずに、協働作用効果を効率的に捉えるモデルを設計すること。
• 公開データセットおよび産業的データセットの両方で、提案手法の有効性を検証すること。
• 大規模広告システムにモデルを導入し、実用的影響を評価すること。

提案手法

• 特徴ペアの集合的影響を学習可能な協働モジュールを通じて明示的にモデル化する特徴協働ネットワーク（CAN）を提案する。
• 特徴協働活性化パターンの重要度を動的に重みづけるための構造化されたアテンションメカニズムを導入する。
• 標準的なDNNと比較して冗長なパrameterizationを削減することで、高い効率性を維持する軽量なアーキテクチャを設計する。
• 因数分解に基づく相互作用モジュールを採用し、低コストで高次元の特徴相互作用を効率的に計算する。
• 訓練の安定化と収束の改善を図るために、残差接続と正規化層を活用する。
• CTR予測のためのバイナリクロスエントロピー損失関数を用いて、標準的なバックプロパゲーションでモデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 最先端のCTRモデルでは、特徴協働作用の潜在的価値がどの程度未利用状態にあるのか？
• RQ2 特徴協働作用を明示的にモデル化することで、CTR予測性能に測定可能な改善が得られるか？
• RQ3 提案されたCANモデルは、既存の深層CTRモデルと比較して、計算およびメモリ使用量の面で高い効率性を維持しているか？
• RQ4 CANは、SOTAベースラインと比較して、実世界の産業的データセットでも優れた性能を示しているか？
• RQ5 大規模広告システムにCANを導入した場合の実用的影響は何か？

主な発見

• 提案されたCANモデルは、アリババのディスプレイ広告システムにおいて、ベースラインモデルと比較して12%の相対的なCTR向上を達成した。
• 産業的導入において、CANはRPMを8%向上させ、明確なビジネス的影響を示した。
• 公開および産業的データセットにおける実験により、CANは最先端のCTRモデルを大きく上回る性能を示した。
• モデルは非線形な特徴協働作用を効果的に捉えており、従来のモデルが完全に活用できなかった点を補った。
• CANは予測精度を維持または向上させながら、ストレージおよび計算消費量を削減した。
• モデルはアリババで生産環境に正常に導入されており、実世界の環境におけるスケーラビリティと頑健性を実証した。