[論文レビュー] AutoFIS: Automatic Feature Interaction Selection in Factorization Models for Click-Through Rate Prediction

Bin Liu, Chenxu Zhu+7 more|arXiv (Cornell University)|Mar 25, 2020

Recommender Systems and Techniques参考文献 30被引用数 36

ひとこと要約

AutoFIS は CTR 予測の因子分解モデルにおける特徴相互作用を自動で選択・剪定する二段階アプローチを導入し、連続的なアーキテクチャパラメータと GRDA を用いて探索段階で重要な相互作用を学習し、注意喚起のようなゲーティングで再学習する。

ABSTRACT

Learning feature interactions is crucial for click-through rate (CTR) prediction in recommender systems. In most existing deep learning models, feature interactions are either manually designed or simply enumerated. However, enumerating all feature interactions brings large memory and computation cost. Even worse, useless interactions may introduce noise and complicate the training process. In this work, we propose a two-stage algorithm called Automatic Feature Interaction Selection (AutoFIS). AutoFIS can automatically identify important feature interactions for factorization models with computational cost just equivalent to training the target model to convergence. In the \emph{search stage}, instead of searching over a discrete set of candidate feature interactions, we relax the choices to be continuous by introducing the architecture parameters. By implementing a regularized optimizer over the architecture parameters, the model can automatically identify and remove the redundant feature interactions during the training process of the model. In the \emph{re-train stage}, we keep the architecture parameters serving as an attention unit to further boost the performance. Offline experiments on three large-scale datasets (two public benchmarks, one private) demonstrate that AutoFIS can significantly improve various FM based models. AutoFIS has been deployed onto the training platform of Huawei App Store recommendation service, where a 10-day online A/B test demonstrated that AutoFIS improved the DeepFM model by 20.3\% and 20.1\% in terms of CTR and CVR respectively.

研究の動機と目的

• CTR モデルにおける意味のある低次・高次の特徴相互作用を選択する重要性を動機づけ、予測性能と効率を向上させる。
• AutoFIS を提案する。収束するまでの計算コストをほぼトレーニングと同等に保ちながら、役立つ相互作用を自動的に発見する二段階の手法。
• 冗長な相互作用を削除することで、FM ベースのモデル全体で精度を向上させ、推論時間を短縮できることを示す。
• 学習された高次の相互作用が既存のモデルを改善し、実際のシステムでオンライン性能の向上をもたらすことを示す。

提案手法

• 各潜在的相互作用ごとに、離散的な相互作用選択問題を連続的なアーキテクチャパラメータ空間へ緩和する。
• 探索段階で、アーキテクチャパラメータが相互作用を保持するかどうかを決定するゲーティング機構を用いる。
• 対の相互作用スコアに対して Batch Normalization を適用し、スケールをアーキテクチャパラメータから分離する。
• 1レベルの最適化設定で、アーキテクチャパラメータとモデルウェイトを共同最適化する（双レベルアプローチではない）。
• GRDA オプティマイザを用いてアーキテクチャパラメータに疎減を促し、重要でない相互作用を効果的に剪定する。
• 再学習段階では、保持した相互作用を固定し、アーキテクチャパラメータをバイナリゲートではなくアテンションユニットとして再学習する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: AutoFIS は因子分解モデルで相互作用を選択することで CTR モデルの性能を向上させることができますか？
• RQ2 RQ2: AutoFIS が見つけた相互作用は他のモデルの性能向上や推論時間の短縮に転用できますか？
• RQ3 RQ3: 選択された相互作用はモデルの性能に本当に影響がありますか？
• RQ4 RQ4: AutoFIS は実稼働のレコメンドシステムで効果を提供しますか？
• RQ5 RQ5: Batch Normalization などの構成要素は AutoFIS の性能にどう寄与しますか？

主な発見

• AutoFIS は 2nd-order 相互作用のかなりの割合を削除でき、Avazu で 71%、DeepFM で 2nd order の 76%）が、ベースラインと比較して AUC を改善する。
• 選択された相互作用を用いた AutoFM および AutoDeepFM は、Avazu、Criteo、および private データセットで AUC および/または log loss の点で対応するベースラインを上回る。
• Huawei App Store でのオンライン A/B テストで、AutoFIS 適用後 DeepFM の CTR が約 20.3%、CVR が約 20.1% 向上した。
• この手法は、比較的小さな高品質な相互作用セットを使用して、最小限の追加計算で性能を向上させることを可能にする。
• 探索された場合に限り、選択された 3rd-order 相互作用は小さながら正の改善をもたらすことがある（例: 0.1%–0.2% AUC、 substantial cost なし）。
• AutoFIS によって特定された重要な相互作用は、既存の最先端モデルの性能を高めることもできる。