[논문 리뷰] FAT-DeepFFM: Field Attentive Deep Field-aware Factorization Machine.

Junlin Zhang, Tongwen Huang외 1명|arXiv (Cornell University)|2019. 01. 01.

Recommender Systems and Techniques인용 수 1

한 줄 요약

이 논문은 CTR 예측을 위한 새로운 딥러닝 모델인 FAT-DeepFFM을 제안한다. 이 모델은 Compose-Excitation 네트워크 기반의 필드 어텐션 메커니즘(CENet)을 DeepFFM에 통합하여, 명시적 특징 상호작용 이전에 정보성 특징을 동적으로 강조한다. 이 방법은 두 개의 실세계 데이터셋에서 최신 기술(SOTA) 성능을 달성하며, 상호작용 이전에 특징 중요도를 강조함으로써 기존 모델을 능가한다. 이는 상호작용 이전 어텐션의 효과가 이후 어텐션보다 더 뛰어나다는 것을 입증한다.

ABSTRACT

Click through rate (CTR) estimation is a fundamental task in personalized advertising and recommender systems. Recent years have witnessed the success of both the deep learning based model and attention mechanism in various tasks in computer vision (CV) and natural language processing (NLP). How to combine the attention mechanism with deep CTR model is a promising direction because it may ensemble the advantages of both sides. Although some CTR model such as Attentional Factorization Machine (AFM) has been proposed to model the weight of second order interaction features, we posit the evaluation of feature importance before explicit feature interaction procedure is also important for CTR prediction tasks because the model can learn to selectively highlight the informative features and suppress less useful ones if the task has many input features. In this paper, we propose a new neural CTR model named Field Attentive Deep Field-aware Factorization Machine (FAT-DeepFFM) by combining the Deep Field-aware Factorization Machine (DeepFFM) with Compose-Excitation network (CENet) field attention mechanism which is proposed by us as an enhanced version of Squeeze-Excitation network (SENet) to highlight the feature importance. We conduct extensive experiments on two real-world datasets and the experiment results show that FAT-DeepFFM achieves the best performance and obtains different improvements over the state-of-the-art methods. We also compare two kinds of attention mechanisms (attention before explicit feature interaction vs. attention after explicit feature interaction) and demonstrate that the former one outperforms the latter one significantly.

연구 동기 및 목표

• 딥러닝 모델에서 명시적 특징 상호작용 이전에 특징 중요도 평가를 향상시켜 CTR 예측 성능을 향상시키기.
• 고차원 입력 공간에서 정보성 특징을 충분히 우선시하지 못하는 기존 모델의 한계를 해결하기.
• 예측 작업에 대한 관련성에 따라 필드 기반으로 적응적으로 가중치를 매기는 새로운 어텐션 메커니즘 설계하기.
• 명시적 특징 상호작용 이전과 이후에 적용된 어텐션 메커니즘의 효과를 경험적으로 비교하기.
• 개선된 특징 표현과 어텐션 통합을 통해 실세계 CTR 예측 벤치마크에서 최신 기술(SOTA) 성능 달성하기.

제안 방법

• 특징 중요도를 모델링하기 위해 SENet의 개선된 버전인 Compose-Excitation 네트워크(CENet)라는 새로운 필드 어텐션 메커니즘을 제안한다.
• CENet를 Deep Field-aware Factorization Machine(DeepFFM) 프레임워크에 통합하여 명시적 특징 상호작용 이전에 어텐션을 적용한다.
• 두 단계 어텐션 메커니즘을 사용한다: 전역 필드 수준 정보를 요약하기 위한 풀링, 그리고 각 필드별 동적 어텐션 가중치를 학습하기 위한 자극.
• 어텐션 가중치를 사용하여 인과성 레이어에서 쌍방향 상호작용을 계산하기 전에 필드 임베딩을 스케일링한다.
• 대체 경로와 비선형 변환을 CENet 블록에 적용하여 표현 능력을 향상시킨다.
• CTR 예측을 위해 시그모이드 교차 엔트로피 손실과 함께 확률적 경사 하강법을 사용하여 엔드 투 엔드 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 명시적 특징 상호작용 이전에 정보성 특징을 선택적으로 강조함으로써, 필드 수준 어텐션 메커니즘이 CTR 예측 성능을 향상시킬 수 있는가?
• RQ2 딥 CTR 모델에서 명시적 특징 상호작용 이전에 적용된 어텐션과 이후에 적용된 어텐션의 성능는 어떻게 비교되는가?
• RQ3 제안된 CENet 메커니즘이 CTR 모델링 작업에서 기존의 SENet 같은 표준 어텐션 메커니즘을 능가하는가?
• RQ4 DeepFFM에 필드 어텐션을 통합함으로써 실세계 데이터셋에서 최신 기술(SOTA) 성능을 달성할 수 있는가?
• RQ5 고차원 CTR 예측에서 특징 중요도 가중치가 전체 모델 성능에 기여하는 정도는 어떠한가?

주요 결과

• FAT-DeepFFM는 두 개의 실세계 CTR 예측 데이터셋에서 비교된 모든 모델 중 최고의 성능을 기록했다.
• 모델은 최신 기술(SOTA) 방법을 크게 능가하며, AUC 및 로그손실 지표에서 일관된 향상을 보였다.
• 명시적 특징 상호작용 이전에 어텐션을 적용할 경우, 이후에 적용할 경우보다 훨씬 우수한 결과를 얻었으며, 이는 조기 특징 가중치 부여의 중요성을 확인한다.
• 제안된 CENet 메커니즘은 정보성 필드를 효과적으로 강조하고 관련성이 낮은 필드를 억제하여 모델 일반화 능력을 향상시켰다.
• 제거 실험을 통해 필드 어텐션 메커니즘이 전체 성능 향상에 기여한다는 것이 확인되었다.
• 모델은 다양한 데이터 분포에서 뛰어난 강건성과 일반화 능력을 보이며, 강력한 실용적 적용 가능성을 시사한다.