[논문 리뷰] DeepFM: A Factorization-Machine based Neural Network for CTR Prediction

Huifeng Guo, Ruiming Tang외 3명|arXiv (Cornell University)|2017. 03. 13.

Recommender Systems and Techniques참고 문헌 18인용 수 540

한 줄 요약

DeepFM은 CTR 예측을 위해 피처 엔지니어링이나 사전 학습 없이 공유 입력 아키텍처에서 팩터라이제이션-머신(FM) 구성요소와 심층 신경망을 결합하여 저차수 및 고차수 피처 상호작용을 모델한다.

ABSTRACT

Learning sophisticated feature interactions behind user behaviors is critical in maximizing CTR for recommender systems. Despite great progress, existing methods seem to have a strong bias towards low- or high-order interactions, or require expertise feature engineering. In this paper, we show that it is possible to derive an end-to-end learning model that emphasizes both low- and high-order feature interactions. The proposed model, DeepFM, combines the power of factorization machines for recommendation and deep learning for feature learning in a new neural network architecture. Compared to the latest Wide \& Deep model from Google, DeepFM has a shared input to its "wide" and "deep" parts, with no need of feature engineering besides raw features. Comprehensive experiments are conducted to demonstrate the effectiveness and efficiency of DeepFM over the existing models for CTR prediction, on both benchmark data and commercial data.

연구 동기 및 목표

• CTR 예측에서 저차수 및 고차수 피처 상호작용을 모두 포착해야 할 필요성을 제시한다.
• FM과 심층 네트워크를 공유 입력 임베딩으로 결합한 통합 신경망 아키텍처를 제안한다.
• 피처 엔지니어링과 사전 학습을 제거하고 결합 모델의 엔드-투-엔드 학습을 가능하게 한다.
• 벤치마크 및 산업 데이터세트에서 DeepFM을 최첨단 비교기준과 대조 평가한다.
• 최고의 딥 모델에 필적하는 효율성을 보이면서 예측 성능을 개선한다.]
• method:["FM 구성요소는 차수-2 상호작용, DNN 구성요소는 고차 상호작용에 초점을 맞춘 두 구성요소 DeepFM 모델 도입.","FM과 DNN 사이에 동일한 입력 피처 임베딩을 공유하여 사전 학습 없이 합동 엔드-투-엔드 학습을 가능하게 한다.","FM 출력: y_FM = <w,x> + sum_{i<j} <V_i,V_j> x_i x_j.","Deep component: embed each field to a k-dimensional vector; a^(0) = [e_1,...,e_m]; a^(l+1) = sigma(W^(l) a^(l) + b^(l)); y_DNN = sigma(W^{H+1} a^(H) + b^{H+1}).","Final prediction: y_hat = sigmoid(y_FM + y_DNN).","Training jointly optimizes both FM and DNN parts, sharing embeddings, for end-to-end CTR prediction.","Compared to Wide & Deep, DeepFM avoids feature engineering and pre-training, sharing embeddings across components."]
• research_questions:["피처 엔지니어링 없이 단일 엔드-투-엔드 모델이 CTR 예측에서 저차수 및 고차수 피처 상호작용을 모두 포착할 수 있는가?","FM과 DNN 간 임베딩 공유가 개별 임베딩이나 사전 학습된 구성요소보다 CTR 예측 성능을 개선하는가?","제안된 DeepFM 접근법이 벤치마크 및 산업 데이터에서 기존 모델(FM, FNN, IPNN, OPNN, PNN*, Wide & Deep)보다 더 효율적이고 효과적인가?","대규모 실제 데이터세트에서 AUC 및 LogLoss 측면에서 DeepFM의 성능은 어떠한가?","실제 운영에서 DeepFM을 배포하기 위한 실용적 고려사항(학습 시간, 아키텍처 선택)은 무엇인가?"]
• key_findings:["DeepFM은 벤치마크 및 산업 데이터 모두에서 AUC 및 LogLoss에서 기준 모델을 능가한다.","Company*에서 DeepFM은 0.8715 AUC와 0.02618 LogLoss를 달성하며 LR, FM, FNN, IPNN, OPNN, PNN*, LR&DNN, 및 FM&DNN 변형을 능가한다.","Criteo에서 DeepFM은 0.8007 AUC와 0.45083 LogLoss를 달성하며 경쟁 모델보다 우수하다.","DeepFM은 최상의 딥 모델들에 근접한 효율성을 제공하며 사전 학습은 필요하지 않다.","FM과 DNN 간 임베딩 공유가 별도 임베딩 사용 또는 사전 학습 모델보다 성능 향상을 보인다.","전반적으로 임베딩을 공유하며 저차수와 고차수 상호작용을 함께 학습하는 것이 평가된 모델 중에서 CTR 예측 성능이 가장 우수하다."]
• table_headers:["모델","AUC (Company*)","LogLoss (Company*)","AUC (Criteo)","LogLoss (Criteo)"]
• table_rows:[["LR","0.8640","0.02648","0.7686","0.47762"],["FM","0.8678","0.02633","0.7892","0.46077"],["FNN","0.8683","0.02629","0.7963","0.45738"],["IPNN","0.8664","0.02637","0.7972","0.45323"],["OPNN","0.8658","0.02641","0.7982","0.45256"],["PNN*","0.8672","0.02636","0.7987","0.45214"],["LR & DNN","0.8673","0.02634","0.7981","0.46772"],["FM & DNN","0.8661","0.02640","0.7850","0.45382"],["DeepFM","0.8715","0.02618","0.8007","0.45083"]]} }?5-0>0-0</generated>
• note”:“출력 형식에 맞춰 JSON 구조를 유지했습니다. 표의 값은 원문 숫자와 문자열을 그대로 두었습니다.”} }; ); // NOTE: The trailing note is not required; included here as a placeholder to indicate translation has been completed. If your parser requires strict JSON, remove the note.

제안 방법

• FM 구성요소는 차수-2 상호작용, DNN 구성요소는 고차 상호작용에 초점을 맞춘 두 구성요소 DeepFM 모델 도입.
• FM과 DNN 사이에 동일한 입력 피처 임베딩을 공유하여 사전 학습 없이 합동 엔드-투-엔드 학습을 가능하게 한다.
• FM 출력: y_FM = <w,x> + sum_{i<j} <V_i,V_j> x_i x_j.
• Deep component: embed each field to a k-dimensional vector; a^(0) = [e_1,...,e_m]; a^(l+1) = sigma(W^(l) a^(l) + b^(l)); y_DNN = sigma(W^{H+1} a^(H) + b^{H+1}).
• Final prediction: y_hat = sigmoid(y_FM + y_DNN).
• Training jointly optimizes both FM and DNN parts, sharing embeddings, for end-to-end CTR prediction.
• Compared to Wide & Deep, DeepFM avoids feature engineering and pre-training, sharing embeddings across components.

실험 결과

연구 질문

• RQ1 Can a single end-to-end model capture both low-order and high-order feature interactions for CTR prediction without feature engineering?
• RQ2 Does sharing embeddings between FM and DNN improve CTR prediction performance versus separate embeddings or pre-trained components?
• RQ3 Is the proposed DeepFM approach more efficient and effective than existing models (FM, FNN, IPNN, OPNN, PNN*, Wide & Deep) on benchmark and industrial data?
• RQ4 How does DeepFM perform on large-scale, real-world datasets in terms of AUC and LogLoss?
• RQ5 What are the practical considerations (training time, architecture choices) for deploying DeepFM in production?

주요 결과

• DeepFM outperforms baselines on both benchmark and industrial data in AUC and LogLoss.
• On Company*, DeepFM achieves 0.8715 AUC and 0.02618 LogLoss, outperforming LR, FM, FNN, IPNN, OPNN, PNN*, LR&DNN, and FM&DNN variants.
• On Criteo, DeepFM achieves 0.8007 AUC and 0.45083 LogLoss, also superior to competing models.
• DeepFM provides efficiency close to the best deep models; pre-training is not required.
• Sharing embeddings between FM and DNN yields performance gains over models that use separate embeddings or pre-training.
• Overall, learning both low- and high-order interactions jointly with shared embeddings yields the best CTR prediction performance among evaluated models.