[論文レビュー] Towards Understanding the Overfitting Phenomenon of Deep Click-Through Rate Prediction Models

Zhaoyu Zhang, Xiang-Rong Sheng+5 more|arXiv (Cornell University)|Sep 4, 2022

Machine Learning in Materials Science被引用数 5

ひとこと要約

この論文は、深層クリック予測率（CTR）モデルにおける1エポック現象を調査している。1つのエポック目で性能が向上するが、2番目のトレーニングエポックの開始直後に急激に性能が低下する現象は、過学習に起因する。産業界および公開データセットを用いた広範な実験を通じて、モデルアーキテクチャ、高速収束型最適化（例：Adam）、特徴量のスパarsityが主な要因であることが特定された。著者らは、この直感に反する挙動を説明する仮説を提示し、現在の産業界の慣習である1エポックトレーニングとは対照的に、マルチエポックトレーニングのさらなる検討を提言している。

ABSTRACT

Deep learning techniques have been applied widely in industrial recommendation systems. However, far less attention has been paid to the overfitting problem of models in recommendation systems, which, on the contrary, is recognized as a critical issue for deep neural networks. In the context of Click-Through Rate (CTR) prediction, we observe an interesting one-epoch overfitting problem: the model performance exhibits a dramatic degradation at the beginning of the second epoch. Such a phenomenon has been witnessed widely in real-world applications of CTR models. Thereby, the best performance is usually achieved by training with only one epoch. To understand the underlying factors behind the one-epoch phenomenon, we conduct extensive experiments on the production data set collected from the display advertising system of Alibaba. The results show that the model structure, the optimization algorithm with a fast convergence rate, and the feature sparsity are closely related to the one-epoch phenomenon. We also provide a likely hypothesis for explaining such a phenomenon and conduct a set of proof-of-concept experiments. We hope this work can shed light on future research on training more epochs for better performance.

研究の動機と目的

• 1エポック現象の根本的要因を特定する。この現象は、深層CTRモデルが2番目のトレーニングエポックの開始直後に急激に過学習を起こすものである。
• 産業界のCTRモデルが、長期間トレーニングの利点があるにもかかわらず、通常1エポックのみでトレーニングされる理由を理解する。
• モデルアーキテクチャ、最適化アルゴリズム、特徴量スパarsityがCTR予測における過学習行動に与える影響を分析する。
• 急激な性能低下を説明する妥当な仮説を提示し、制御された実験によりその妥当性を検証する。
• 今後のマルチエポックトレーニングの有効な実装に向けた知見を提供する。

提案手法

• 著者らは、アリババのディスプレイ広告システムから得た大規模なプロダクションデータセットに加え、2つの公開データセット（Amazon book、Taobao）を用いて広範な実験を実施した。
• 標準的な深層CTRモデル（埋め込み層とMLPアーキテクチャ）を用い、ユーザー履歴シーケンスの平均プーリングとバイナリクロスエントロピー損失関数を採用した。
• ベースモデルは、3層の全結合層（200×80×1）を備え、DICE活性化関数とシグモイド出力を利用しており、各特徴フィールドの埋め込み次元は8である。
• トレーニングにはAdam最適化アルゴリズムを用い、初期学習率を固定値1e-3、バッチサイズを1024（プロダクション）、128（Amazon）、512（Taobao）とした。
• モデルの各構成要素、最適化設定、データのスパarsityを系統的に変化させ、1エポック現象に寄与する要因を特定した。
• 高速収束とスパースな特徴量がトレーニングサンプルを早期に記憶する傾向にあり、その観察に基づいて仮説を提示。その妥当性を確認するための概念実証実験を実施した。

実験結果

リサーチクエスチョン

• RQ1 なぜ深層CTR予測モデルは、1エポック目は向上するが、2番目のトレーニングエポックの開始直後に急激に性能が低下するのか？
• RQ2 モデルアーキテクチャと最適化アルゴリズムの選択が、1エポック過学習現象にどのように影響するのか？
• RQ3 産業界のレコメンデーションシステムにおける特徴量スパarsityは、1エポック現象にどの程度寄与しているのか？
• RQ4 1エポック現象は、異なるデータセットやモデル設定において一般化可能か？
• RQ5 急激な過学習挙動を説明する妥当な仮説は存在するか？ そして、実験的にその仮説を検証できるか？

主な発見

• 1エポック現象—すなわち、2番目のエポックの開始直後にモデル性能が急激に低下する現象—は、アリババのプロダクションデータ、Amazon book、Taobaoデータセットを含む複数の産業界および公開データセットで一貫して観察された。
• この現象は、Adamのような高速収束型最適化アルゴリズムの使用と強く関連しており、モデルが訓練サンプルを速やかに記憶してしまうことに起因する。
• 特にユーザーIDおよびアイテムIDの特徴量における高いスパarsityは、過学習を悪化させる。稀な特徴量は適切に表現されにくく、容易に過学習されてしまう。
• 埋め込み層とMLPの組み合わせであるモデルアーキテクチャは、スパースで高次元の入力を素早く適合可能にするため、この現象に寄与している。
• 1エポック以上トレーニングを行っても、適切にハイパーパrameterをチューニングした1エポックモデルと比較して、性能の顕著な向上は観察されない。これは、過学習がトレーニング初期に既に支配的であることを示している。
• 提案された仮説—高速収束とスパースな特徴量による早期記憶が、急激な過学習を引き起こす—は、制御された実験により検証された。これにより、この現象はランダムではなく、体系的であることが示唆された。