[論文レビュー] Correct Normalization Matters: Understanding the Effect of Normalization On Deep Neural Network Models For Click-Through Rate Prediction

Zhiqiang Wang, Qingyun She+2 more|arXiv (Cornell University)|Jun 23, 2020

Image and Video Quality Assessment参考文献 20被引用数 5

ひとこと要約

本稿では、特徴埋め込みおよびMLP層における正規化手法の体系的評価を通じて、クリック予測率（CTR）予測のための正規化強化型深層ニューラルネットワーク、NormDNNを提案する。分散のみの層正規化（VO-LN）を導入し、適切な正規化、特に分散安定化が性能を顕著に向上させることを示した。NormDNNは、Criteo、Avazu、Malwareの3つの実世界データセットにおいて、xDeepFMのような複雑なモデルを凌駆する性能を発揮した。

ABSTRACT

Normalization has become one of the most fundamental components in many deep neural networks for machine learning tasks while deep neural network has also been widely used in CTR estimation field. Among most of the proposed deep neural network models, few model utilize normalization approaches. Though some works such as Deep & Cross Network (DCN) and Neural Factorization Machine (NFM) use Batch Normalization in MLP part of the structure, there isn't work to thoroughly explore the effect of the normalization on the DNN ranking systems. In this paper, we conduct a systematic study on the effect of widely used normalization schemas by applying the various normalization approaches to both feature embedding and MLP part in DNN model. Extensive experiments are conduct on three real-world datasets and the experiment results demonstrate that the correct normalization significantly enhances model's performance. We also propose a new and effective normalization approaches based on LayerNorm named variance only LayerNorm(VO-LN) in this work. A normalization enhanced DNN model named NormDNN is also proposed based on the above-mentioned observation. As for the reason why normalization works for DNN models in CTR estimation, we find that the variance of normalization plays the main role and give an explanation in this work.

研究の動機と目的

• 深層ニューラルネットワークモデルにおけるさまざまな正規化手法のクリック予測率（CTR）予測への影響を調査すること。
• しばしば無視されがちな特徴埋め込み層における正規化が、モデル性能を向上させるかどうかを特定すること。
• DNNベースのCTRモデルにおける異なるコンponent（数値特徴とカテゴリカル特徴、MLP）に最適な正規化戦略を同定すること。
• 正規化がCTRモデルの性能を向上させる背後にある理由、特に分散安定化の役割を解明すること。
• 産業的導入に適した実用的で高効率なモデル、NormDNNを最適な正規化戦略の統合により開発すること。

提案手法

• 分散のみの層正規化（VO-LN）を提案。これは、層正規化のうち分散正規化の成分のみを保持した簡素化されたバージョンである。
• バッチ正規化、層正規化、VO-LNの複数の正規化手法を、それぞれ数値特徴およびカテゴリカル特徴の埋め込み層、MLP層に別々に適用する。
• NormDNNでは統一された正規化戦略を採用：数値特徴にはVO-LNまたは層正規化、カテゴリカル特徴にはバッチ正規化、MLP層にはVO-LNを適用する。
• Criteo、Avazu、Malwareの3つの実世界データセットを用いた広範なアブレーションスタディを通じて、異なるモデルコンponentにおける正規化効果を評価する。
• 正規化統計量（平均、分散）がモデル性能に与える寄与度を分析し、分散が主要因であることを特定する。
• DNN、DeepFM、xDeepFMなどの多様なモデルに正規化を適用することで、正規化の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 正規化手法の選択が、CTR予測におけるDNNモデルの性能にどのように影響するか？
• RQ2 特徴埋め込み層に正規化を適用することで、モデル性能が顕著に向上するのか？（従来、未だ十分に検討されていなかった分野）
• RQ3 数値特徴とカテゴリカル特徴、およびMLP層において、バッチ正規化、層正規化、VO-LNのうち、どの正規化戦略が最適か？
• RQ4 正規化がDNNの性能を向上させる背後にある根本的要因は何か？特に分散安定化の役割は？
• RQ5 DeepFM や xDeepFM といった複数の最先端モデルに共通して効果を発揮する統一された正規化戦略を設計できるか？

主な発見

• 特徴埋め込み層に正規化を適用することで、モデル性能が顕著に向上し、CTRモデルにおいてこの効果の初回の実証的評価がなされた。
• VO-LNは層正規化と同等の性能を達成するが、計算複雑性が低いため、より効率的である。
• 数値特徴では層正規化に基づく手法（VO-LN含む）がバッチ正規化を上回るが、カテゴリカル特徴ではバッチ正規化が最良の性能を示す。
• 最適な正規化戦略（数値特徴にVO-LN、カテゴリカル特徴にバッチ正規化、MLPにVO-LN）が、すべてのデータセットで最高のAUCを達成した。
• この統一戦略を用いたNormDNNは、CriteoでAUC 0.8107、AvazuでAUC 0.7869、MalwareでAUC 0.7402を達成し、xDeepFMをそれぞれ0.0044、0.0021、0.0080のAUC向上で上回った。
• 正規化は複数のモデルで性能向上をもたらす。DeepFMおよびxDeepFMに正規化を適用した場合、最良の設定では、正規化なしのオリジナルモデルを上回った。