[論文レビュー] A Practical Incremental Method to Train Deep CTR Models

Yichao Wang, Huifeng Guo+3 more|arXiv (Cornell University)|Sep 4, 2020

Recommender Systems and Techniques参考文献 18被引用数 12

ひとこと要約

本論文では、推薦システムにおける深層クリックスルーレート（CTR）モデルのトレーニングのための実用的な段階的学習手法IncCTRを提案する。データ、特徴、モデルモジュールを分離することで、IncCTRは新しいデータのみを用いて効率的な段階的アップデートを可能にし、バッチ学習と同等のAUC性能を達成しながら、産業界のデータセットにおいて最大270倍の高速トレーニング時間を実現する。

ABSTRACT

Deep learning models in recommender systems are usually trained in the batch mode, namely iteratively trained on a fixed-size window of training data. Such batch mode training of deep learning models suffers from low training efficiency, which may lead to performance degradation when the model is not produced on time. To tackle this issue, incremental learning is proposed and has received much attention recently. Incremental learning has great potential in recommender systems, as two consecutive window of training data overlap most of the volume. It aims to update the model incrementally with only the newly incoming samples from the timestamp when the model is updated last time, which is much more efficient than the batch mode training. However, most of the incremental learning methods focus on the research area of image recognition where new tasks or classes are learned over time. In this work, we introduce a practical incremental method to train deep CTR models, which consists of three decoupled modules (namely, data, feature and model module). Our method can achieve comparable performance to the conventional batch mode training with much better training efficiency. We conduct extensive experiments on a public benchmark and a private dataset to demonstrate the effectiveness of our proposed method.

研究の動機と目的

• バッチモードでのトレーニング効率が低いため、モデルのアップデートが遅れると性能が低下する問題に対処すること。
• データと特徴が時間とともに変化する産業界の推薦システムに特化した実用的な段階的学習フレームワークを開発すること。
• 段階的アップデートによってトレーニング効率を著しく向上させつつ、高い予測性能を維持すること。
• 大規模な産業界データセットを用いた実世界のシナリオにおいて、段階的学習の有効性を検証すること。

提案手法

• IncCTRフレームワークは、三つの分離されたモジュールで構成される：データモジュール、特徴モジュール、モデルモジュール。
• データモジュールは貯水池として機能し、履歴データと新規に到着するデータを組み合わせて段階的トレーニングを実行する。
• 特徴モジュールは、到着するデータ内の出現頻度に基づいて、既存の特徴および新しい特徴の拡張と初期化を行う戦略を導入する。
• モデルモジュールは知識蒸留（KD）を用いてモデルをファインチューニングし、以前のモデルまたは自己蒸留を用いて過去の重みからの知識を保持する。
• KDの二つのバリエーションを評価：KD-batch（別個の教師モデルを使用）とKD-self（自己蒸留）、後者は実用的により効率的である。
• 本手法は、完全な再トレーニングを回避し、新規データのみでアップデートを行うことで、トレーニング時間を著しく短縮しながらモデル性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 段階的学習は、バッチ学習と同等のCTR予測性能を達成しつつ、トレーニング効率を著しく向上させることができるか？
• RQ2 提案された特徴拡張および初期化戦略は、段階的アップデート中に新しい特徴を効果的に処理できるか？
• RQ3 知識蒸留は、段階的CTRトレーニングにおけるモデルの安定性と性能にどのような影響を与えるか？
• RQ4 バッチモードでのトレーニングにおいて、トレーニング遅延が増加するにつれてモデル性能がどのように低下するか？また、段階的学習はこの問題を緩和できるか？

主な発見

• Criteoデータセットでは、IncCTRはバッチ学習と比較して平均トレーニング時間を60倍短縮し、性能低下はわずか0.08%（AUC低下）にとどまる。
• HuaweiAppデータセットでは、IncCTRはバッチ学習と比較してトレーニング時間を270倍短縮し、AUC低下はたった0.055%にとどまる。
• バッチ学習において、モデルのアップデートが5日遅れるとAUC性能が0.66%低下するため、効率的な段階的学習手法の導入が不可欠であることが示された。
• アブレーションスタディの結果、新しい特徴を拡張しない場合、長期間の段階的トレーニング後に0.1%以上の性能低下が生じるため、特徴拡張戦略の必要性が確認された。
• 自己蒸留（KD-self）はKD-batchとほぼ同等の性能を発揮するが、追加の計算コストが不要であるため、産業界での導入により実用的であることが示された。