[논문 리뷰] AutoFIS: Automatic Feature Interaction Selection in Factorization Models for Click-Through Rate Prediction

Bin Liu, Chenxu Zhu외 7명|arXiv (Cornell University)|2020. 03. 25.

Recommender Systems and Techniques참고 문헌 30인용 수 36

한 줄 요약

AutoFIS는 CTR 예측을 위한 계수화 모델의 특징 상호 작용을 자동으로 선택하고 가지치기하는 두 단계 접근법을 도입하며, 연속 아키텍처 파라미터와 GRDA를 사용하여 탐색 단계에서 중요한 상호 작용을 학습하고 주의(attention-like) 게이팅으로 재훈련한다.

ABSTRACT

Learning feature interactions is crucial for click-through rate (CTR) prediction in recommender systems. In most existing deep learning models, feature interactions are either manually designed or simply enumerated. However, enumerating all feature interactions brings large memory and computation cost. Even worse, useless interactions may introduce noise and complicate the training process. In this work, we propose a two-stage algorithm called Automatic Feature Interaction Selection (AutoFIS). AutoFIS can automatically identify important feature interactions for factorization models with computational cost just equivalent to training the target model to convergence. In the \emph{search stage}, instead of searching over a discrete set of candidate feature interactions, we relax the choices to be continuous by introducing the architecture parameters. By implementing a regularized optimizer over the architecture parameters, the model can automatically identify and remove the redundant feature interactions during the training process of the model. In the \emph{re-train stage}, we keep the architecture parameters serving as an attention unit to further boost the performance. Offline experiments on three large-scale datasets (two public benchmarks, one private) demonstrate that AutoFIS can significantly improve various FM based models. AutoFIS has been deployed onto the training platform of Huawei App Store recommendation service, where a 10-day online A/B test demonstrated that AutoFIS improved the DeepFM model by 20.3\% and 20.1\% in terms of CTR and CVR respectively.

연구 동기 및 목표

• CTR 모델의 예측 성능과 효율성을 개선하기 위해 낮은 차수 및 높은 차수의 의미 있는 특징 상호 작용을 선택하는 중요성을 강조한다.
• 계산 비용이 수렴까지의 학습에 근접한 두 단계 방법 AutoFIS를 제안한다.
• 중복된 상호 작용을 제거하면 FM 기반 모델의 정확도가 향상되고 추론 시간이 단축될 수 있음을 보여준다.
• 학습된 고차 상호 작용이 기존 모델을 개선하고 실제 시스템에서 온라인 성능 향상을 제공할 수 있음을 보여준다.

제안 방법

• 가능한 각 상호 작용에 대해 이진(interaction) 선택 문제를 연속 아키텍처 파라미터 공간으로 완화한다.
• 탐색 단계에서 아키텍처 파라미터가 상호 작용의 보유 여부를 결정하는 게이팅 메커니즘을 사용한다.
• 쌍별 상호 작용 점수에 배치 정규화를 적용하여 규모를 아키텍처 파라미터로부터 분리한다.
• 일단계 최적화 설정에서 아키텍처 파라미터와 모델 가중치를 함께 최적화한다(이분형(bi-level) 접근이 아니다).
• GRDA 옵티마이저를 사용해 아키텍처 파라미터의 희소성을 유도하여 중요하지 않은 상호 작용을 효과적으로 가지친다.
• 재훈련 단계에서는 보유된 상호 작용을 고정하고 이진 게이트가 아닌 주의 단위(attention-like units)로 아키텍처 파라미터를 재훈련한다.

실험 결과

연구 질문

• RQ1 RQ1: AutoFIS가 팩터화 모델에서 상호 작용을 선택함으로써 CTR 모델 성능을 향상시킬 수 있는가?
• RQ2 RQ2: AutoFIS로 발견된 상호 작용이 다른 모델에 전달되어 성능을 개선하거나 추론 시간을 줄일 수 있는가?
• RQ3 RQ3: 선택된 상호 작용이 실제로 모델 성능에 영향이 있는가?
• RQ4 RQ4: AutoFIS가 실제 운영 추천 시스템에서 이득을 제공하는가?
• RQ5 RQ5: 배치 정규화와 같은 구성 요소가 AutoFIS의 성능에 어떻게 기여하는가?

주요 결과

• AutoFIS는 2차 상호 작용의 상당 부분을 제거할 수 있으며(예: Avazu에서 71%, DeepFM에서 2차 순서의 76%), 여전히 베이스라인 대비 AUC를 개선한다.
• 선택된 상호 작용으로 AutoFM 및 AutoDeepFM은 Avazu, Criteo 및 비공개 데이터셋에서 AUC 및/또는 로그 손실에서 해당 베이스라인을 능가한다.
• Huawei App Store에서의 온라인 A/B 테스트에서 AutoFIS 적용 후 DeepFM의 CTR이 약 20.3%, CVR이 약 20.1% 향상되었다.
• 이 방법은 비교적 작은 고품질 상호 작용 집합을 사용하여 성능을 높이고 추가 계산을 최소화한다.
• 탐색되었을 때 선택된 3차 상호 작용은 비용이 크지 않으면서도 소폭의 이득을 낼 수 있다(예: AUC 0.1%–0.2%).
• AutoFIS로 식별된 중요한 상호 작용은 기존 최신 모델의 성능도 향상시킬 수 있다.