[論文レビュー] FAT-DeepFFM: Field Attentive Deep Field-aware Factorization Machine.

Junlin Zhang, Tongwen Huang+1 more|arXiv (Cornell University)|Jan 1, 2019

Recommender Systems and Techniques被引用数 1

ひとこと要約

本稿では、クリック予測率（CTR）予測のための新しい深層学習モデル、FAT-DeepFFMを提案する。このモデルは、明示的な特徴量相互作用の前に情報量の多い特徴量を動的に強調する、Compose-Excitationネットワークに基づくフィールドアテンションメカニズム（CENet）をDeepFFMに統合している。2つの実世界のデータセットにおいて最先端の性能を達成しており、相互作用の前段階で特徴量の重要度を強調することで、既存のモデルを上回っている。相互作用の前におけるアテンションが、相互作用の後よりも効果的であることが示された。

ABSTRACT

Click through rate (CTR) estimation is a fundamental task in personalized advertising and recommender systems. Recent years have witnessed the success of both the deep learning based model and attention mechanism in various tasks in computer vision (CV) and natural language processing (NLP). How to combine the attention mechanism with deep CTR model is a promising direction because it may ensemble the advantages of both sides. Although some CTR model such as Attentional Factorization Machine (AFM) has been proposed to model the weight of second order interaction features, we posit the evaluation of feature importance before explicit feature interaction procedure is also important for CTR prediction tasks because the model can learn to selectively highlight the informative features and suppress less useful ones if the task has many input features. In this paper, we propose a new neural CTR model named Field Attentive Deep Field-aware Factorization Machine (FAT-DeepFFM) by combining the Deep Field-aware Factorization Machine (DeepFFM) with Compose-Excitation network (CENet) field attention mechanism which is proposed by us as an enhanced version of Squeeze-Excitation network (SENet) to highlight the feature importance. We conduct extensive experiments on two real-world datasets and the experiment results show that FAT-DeepFFM achieves the best performance and obtains different improvements over the state-of-the-art methods. We also compare two kinds of attention mechanisms (attention before explicit feature interaction vs. attention after explicit feature interaction) and demonstrate that the former one outperforms the latter one significantly.

研究の動機と目的

• 深層学習モデルにおける明示的な特徴量相互作用の前段階で、特徴量の重要度の評価を向上させることにより、CTR予測を改善すること。
• 高次元の入力空間において情報量の多い特徴量を適切に優先しない既存のモデルの限界を解消すること。
• 予測タスクに対する関連性に基づいて、フィールドごとに適応的に重みを付ける新しいアテンションメカニズムを設計すること。
• アテンションメカニズムを明示的な特徴量相互作用の前後に適用した場合の有効性を実験的に比較すること。
• 特徴量表現の向上とアテンション統合を通じて、実世界のCTR予測ベンチマークで最先端の性能を達成すること。

提案手法

• フィールド単位の特徴量重要度をモデル化するため、SENetの拡張版である、新しいフィールドアテンションメカニズム「Compose-Excitation Network（CENet）」を提案する。
• CENetをDeep Field-aware Factorization Machine（DeepFFM）フレームワークに統合し、明示的な特徴量相互作用の前段階でアテンションを適用する。
• 2段階のアテンション機構を採用：squeezeによりグローバルなフィールドレベルの情報を集約し、excitationにより各フィールドごとの動的アテンション重みを学習する。
• アテンション重みを用いて、因子化層でのペアワイズ相互作用を計算する前に、フィールド埋め込みをスケーリングする。
• CENetブロック内で残差接続と非線形変換を採用し、表現能力を向上させる。
• CTR予測のため、シグモイド交差エントロピー損失を用いた確率的勾配降下法で、エンドツーエンドのモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 明示的な特徴量相互作用の前段階で、情報量の多い特徴量を効果的に強調するフィールドレベルのアテンションメカニズムは、CTR予測の性能向上に寄与するか？
• RQ2 深層CTRモデルにおいて、明示的な特徴量相互作用の前後にアテンションを適用した場合、どちらが優れているか？
• RQ3 提案されたCENetメカニズムは、SENetのような標準的なアテンションメカニズムよりもCTRモデリングタスクで優れているか？
• RQ4 DeepFFMにフィールドアテンションを統合することで、実世界のデータセットで最先端の性能が達成できるか？
• RQ5 高次元のCTR予測において、特徴量の重要度重み付けが全体のモデル性能に与える寄与度はどの程度か？

主な発見

• FAT-DeepFFMは、2つの実世界のCTR予測データセットにおいて、比較対象の全モデルの中で最高の性能を達成した。
• 最先端の手法を著しく上回り、AUCおよびlogloss指標において一貫した改善が確認された。
• 明示的な特徴量相互作用の前段階でアテンションを適用した場合、相互作用の後段階で適用した場合よりも著しく優れた結果が得られ、早期の特徴量重み付けの重要性が裏付けられた。
• 提案されたCENetメカニズムは、情報量の多いフィールドを効果的に強調し、関連性の低いフィールドを抑制する能力を有しており、モデルの一般化性能を向上させた。
• アブレーションスタディの結果、フィールドアテンションメカニズムが全体の性能向上に著しく寄与していることが確認された。
• 異なるデータ分布に対してもモデルのロバストネスと一般化性能が高く保たれており、実用的応用への強力な適性が示された。