[논문 리뷰] FLEN: Leveraging Field for Scalable CTR Prediction

Wenqiang Chen, Lizhang Zhan외 4명|arXiv (Cornell University)|2019. 11. 12.

Recommender Systems and Techniques참고 문헌 32인용 수 17

한 줄 요약

FLEN은 CTR 예측에서 상호 필드 및 내부 필드 특징 상호작용을 효율적으로 모델링하기 위해 필드별 이중선형 상호작용 풀링 메커니즘을 제안한다. 이로 인해 파라미터 수와 추론 지연 시간이 크게 감소한다. 실제 산업 데이터에서 오프라인 및 온라인 A/B 테스트를 통해 검증되었으며, NFM 대비 5.19% 높은 CTR를 기록하였다.

ABSTRACT

Click-Through Rate (CTR) prediction has been an indispensable component for many industrial applications, such as recommendation systems and online advertising. CTR prediction systems are usually based on multi-field categorical features, i.e., every feature is categorical and belongs to one and only one field. Modeling feature conjunctions is crucial for CTR prediction accuracy. However, it requires a massive number of parameters to explicitly model all feature conjunctions, which is not scalable for real-world production systems. In this paper, we describe a novel Field-Leveraged Embedding Network (FLEN) which has been deployed in the commercial recommender system in Meitu and serves the main traffic. FLEN devises a field-wise bi-interaction pooling technique. By suitably exploiting field information, the field-wise bi-interaction pooling captures both inter-field and intra-field feature conjunctions with a small number of model parameters and an acceptable time complexity for industrial applications. We show that a variety of state-of-the-art CTR models can be expressed under this technique. Furthermore, we develop Dicefactor: a dropout technique to prevent independent latent features from co-adapting. Extensive experiments, including offline evaluations and online A/B testing on real production systems, demonstrate the effectiveness and efficiency of FLEN against the state-of-the-arts. Notably, FLEN has obtained 5.19% improvement on CTR with 1/6 of memory usage and computation time, compared to last version (i.e. NFM).

연구 동기 및 목표

• 기존의 FFM 및 FwFM과 같은 필드 인식 CTR 모델이 겪는 정규화 문제와 높은 메모리 사용량으로 인한 확장성 및 효율성의 한계를 해결하기 위해.
• 모델 복잡도를 증가시키지 않으면서도 상호 필드 및 내부 필드 특징 상호작용을 모두 포괄하는 파라미터 효율적이고 저지연 시간 신경망 레이어를 설계하기 위해.
• 필드 인식 아키텍처 내에서 FM 모듈의 결합된 기울기 문제로 인한 성능 저하를 해결하기 위해.
• 독립적인 잠재 특징 간의 공조적 적응을 방지하기 위해 새로운 드롭아웃 방법인 Dicefactor를 개발하기 위해.
• 실제 산업 환경의 추천 시스템에서 오프라인 평가 및 온라인 A/B 테스트를 통해 FLEN의 우수성을 검증하기 위해.

제안 방법

• FLEN은 필드별 임베딩 행렬을 사용하여 필드 내외의 특징 간 상호작용을 계산하는 필드별 이중선형 상호작용(FwBI) 풀링을 도입한다.
• FwBI 레이어는 이중선형 형태로 상호작용을 계산한다: $ \mathbf{v}_{ij} = \mathbf{e}_i^T \mathbf{W}_{ij} \mathbf{e}_j $, 여기서 $ \mathbf{e}_i $와 $ \mathbf{e}_j $는 필드 $ i $와 $ j $의 임베딩이며, $ \mathbf{W}_{ij} $는 필드 쌍에 특화된 가중치 행렬이다.
• 모델은 FwBI와 다층 퍼셉트론(MLP)을 통합하여 풀링된 표현에서 고차원 비선형 상호작용을 학습한다.
• 잠재 특징 간의 공조적 적응을 방지하고 결합된 기울기 문제를 완화하기 위해, 전체 이중선형 경로를 무작위로 드롭아웃하는 새로운 드롭아웃 기법인 Dicefactor를 도입한다.
• 특정 제약 조건을 가중치 행렬에 적용할 경우, FwBI 레이어는 고전적 모델인 FM, MF, FwFM을 특수 케이스로 일반화할 수 있다.
• 조기 정지와 L2 정규화를 적용한 확률적 경사 하강법을 사용하여 엔드 투 엔드로 모델을 훈련하며, 산업용 시스템에서 저지연 시간 서비스를 최적화한다.

실험 결과

연구 질문

• RQ1 필드별 이중선형 상호작용 풀링 레이어는 최소한의 파라미터 증가로 상호 필드 및 내부 필드 특징 상호작용을 효과적으로 모델링할 수 있는가?
• RQ2 기존의 필드 인식 모델인 FFM 및 FwFM과 비교할 때, 제안된 FwBI 레이어는 파라미터 효율성과 추론 속도 측면에서 어떻게 성능을 내는가?
• RQ3 Dicefactor 드롭아웃 기법은 필드 인식 아키텍처 내의 FM 기반 모듈에서 결합된 기울기 문제를 효과적으로 완화하는가?
• RQ4 NFM과 같은 최신 기술 모델에 비해 FLEN은 메모리와 계산 자원을 크게 줄이고도 뛰어난 CTR 예측 성능을 달성할 수 있는가?
• RQ5 실제 산업 환경의 제약 조건 하에서 FLEN은 온라인 A/B 테스트에서 안정적이고 뚜렷한 성능 향상을 유지하는가?

주요 결과

• FLEN은 메이투의 실제 운영 플랫폼에서 7일간의 온라인 A/B 테스트에서 이전의 NFM 기반 시스템 대비 CTR에서 5.19% 상대적 향상을 기록하였다.
• FLEN은 NFM 기준으로 메모리 사용량과 계산 시간을 1/6으로 줄여 산업적 배포에 있어 뛰어난 확장성을 입증하였다.
• Avazu 데이터셋에서 FLEN은 모든 모델 중 가장 높은 AUC와 로그손실을 기록하였으며, NFFM 및 기타 최신 기술 모델보다 더 빠른 수렴 속도를 보였다.
• 테스트된 모든 모델 중에서 FwBI 레이어는 파라미터 수가 가장 적었으며, 총 4.94×10⁷개의 파라미터를 가지며 FFM 및 NFFM보다 효율성이 뛰어났다.
• Dicefactor의 하이퍼파라미터 튜닝 결과, Avazu에서는 β=0.7, 메이투에서는 β=0.8일 때 최적의 AUC와 로그손실을 기록하여, 그 효과적인 안정성 향상 기능을 확인하였다.
• 메이투 데이터셋에서 FLEN은 초당 처리한 인스턴스 수가 가장 많아, 실제 시스템에서 높은 추론 효율성을 입증하였다.