[논문 리뷰] Correct Normalization Matters: Understanding the Effect of Normalization On Deep Neural Network Models For Click-Through Rate Prediction

Zhiqiang Wang, Qingyun She외 2명|arXiv (Cornell University)|2020. 06. 23.

Image and Video Quality Assessment참고 문헌 20인용 수 5

한 줄 요약

이 논문은 특성 임bedding 및 MLP 레이어에서 정규화 기법을 체계적으로 평가함으로써 클릭-through rate 예측을 위한 정규화 강화 딥 뉴럴 네트워크인 NormDNN을 제안한다. 분산만을 포함하는 LayerNorm(VO-LN)을 도입하여 적절한 정규화—특히 분산 안정화—가 성능을 크게 향상시킴을 입증하였으며, NormDNN은 Criteo, Avazu, Malware 세 가지 실세계 데이터셋에서 xDeepFM과 같은 복잡한 모델을 능가한다.

ABSTRACT

Normalization has become one of the most fundamental components in many deep neural networks for machine learning tasks while deep neural network has also been widely used in CTR estimation field. Among most of the proposed deep neural network models, few model utilize normalization approaches. Though some works such as Deep & Cross Network (DCN) and Neural Factorization Machine (NFM) use Batch Normalization in MLP part of the structure, there isn't work to thoroughly explore the effect of the normalization on the DNN ranking systems. In this paper, we conduct a systematic study on the effect of widely used normalization schemas by applying the various normalization approaches to both feature embedding and MLP part in DNN model. Extensive experiments are conduct on three real-world datasets and the experiment results demonstrate that the correct normalization significantly enhances model's performance. We also propose a new and effective normalization approaches based on LayerNorm named variance only LayerNorm(VO-LN) in this work. A normalization enhanced DNN model named NormDNN is also proposed based on the above-mentioned observation. As for the reason why normalization works for DNN models in CTR estimation, we find that the variance of normalization plays the main role and give an explanation in this work.

연구 동기 및 목표

• 딥 뉴럴 네트워크 모델에서 클릭-through rate(CTR) 예측을 위한 다양한 정규화 방법의 영향을 조사하는 것.
• 일반적으로 간과되곤 하는 특성 임베딩 레이어에서의 정규화가 모델 성능을 향상시키는지 확인하는 것.
• DNN 기반 CTR 모델의 다양한 구성 요소(수치형 대비 범주형 특성, MLP)에 가장 효과적인 정규화 전략을 특정하는 것.
• 정규화가 CTR 모델에서 성능을 향상시키는 이유를 설명하는 것—특히 분산 안정화의 역할을 규명하는 것.
• 산업적 배포를 위해 실용적이고 고성능인 모델—NormDNN—을 개발하는 것.

제안 방법

• 분산 정규화 성분만을 유지하는 LayerNorm의 단순화된 변형인 분산만의 LayerNorm(VO-LN)을 제안한다.
• BatchNorm, LayerNorm, VO-LN 등의 다양한 정규화 기법을 특성 임베딩(수치형 및 범주형)과 MLP 레이어에 별도로 적용한다.
• NormDNN에서는 통합된 정규화 전략을 적용한다: 수치형 특성에 대해 VO-LN 또는 LayerNorm, 범주형 특성에 대해 BatchNorm, MLP 레이어에 대해 VO-LN을 사용한다.
• 세 가지 실세계 데이터셋(Criteo, Avazu, Malware)에서 광범위한 추상화 연구를 수행하여 다양한 모델 구성 요소에서 정규화 효과를 평가한다.
• 정규화 통계(평균, 분산)가 모델 성능에 기여하는 바를 분석하고, 분산이 주요 기여 요소임을 규명한다.
• DNN, DeepFM, xDeepFM 등의 다양한 모델에 정규화를 적용하여 효과를 검증함으로써, 각 모델의 구성 요소에 대해 최적의 정규화 전략을 도출한다.

실험 결과

연구 질문

• RQ1 정규화 방법의 선택이 CTR 예측에서 DNN 모델 성능에 어떤 영향을 미치는가?
• RQ2 이전에 다루지 않았던 특성 임베딩 레이어에 정규화를 적용하는 것이 모델 성능을 유의미하게 향상시키는가?
• RQ3 수치형 대비 범주형 특성 및 MLP 레이어에 대해 BatchNorm, LayerNorm, VO-LN 중 어떤 정규화 전략이 가장 우수한가?
• RQ4 정규화가 DNN 성능을 향상시키는 근본적인 이유는 무엇인가? 특히 분산 안정화의 역할은 무엇인가?
• RQ5 DeepFM 및 xDeepFM과 같은 최신 모델 전반에서 성능을 향상시킬 수 있는 통합 정규화 전략을 설계할 수 있는가?

주요 결과

• 특성 임베딩에 정규화를 적용하면 모델 성능이 유의미하게 향상되며, 이는 CTR 모델에서 이 효과를 처음으로 실증한 것이다.
• VO-LN은 LayerNorm과 유사한 성능를 달성하지만 계산 복잡도가 감소하여 더 효율적이다.
• 수치형 특성에 대해서는 LayerNorm 기반 기법(VO-LN 포함)이 BatchNorm을 능가하지만, 범주형 특성에 대해서는 BatchNorm이 가장 우수한 성능을 보인다.
• 최적의 정규화 전략—수치형 특성에 대해 VO-LN, 범주형 특성에 대해 BatchNorm, MLP에 대해 VO-LN—이 모든 데이터셋에서 최고의 AUC 성능을 달성한다.
• 이러한 통합 전략을 사용한 NormDNN은 Criteo에서 AUC 0.8107, Avazu에서 0.7869, Malware에서 0.7402를 기록하여 xDeepFM을 각각 0.0044, 0.0021, 0.0080 AUC 높이기 성과를 내었다.
• 다양한 모델에 정규화를 적용하면 성능 향상이 이루어지며, DeepFM 및 xDeepFM에 정규화를 적용한 최적의 구성은 원본 모델보다 성능이 뛰어나다.