[논문 리뷰] AutoDis: Automatic Discretization for Embedding Numerical Features in CTR Prediction

Huifeng Guo, Bo Chen외 3명|arXiv (Cornell University)|2020. 12. 16.

Recommender Systems and Techniques인용 수 4

한 줄 요약

AutoDis는 CTR 예측에서 수치형 특징의 자동 이산화를 위한 엔드 투 엔드 미분 가능한 프레임워크를 제안한다. 학습 가능한 메타임베딩과 미분 가능한 집계 메커니즘을 사용하여 CTR 모델과 함께 이산화 규칙을 최적화한다. 공개 및 산업 데이터셋에서 SOTA 기법보다 뛰어난 성능을 내며, 특징 이산화와 표현 학습을 공동으로 최적화함으로써 모델의 표현 능력과 성능을 향상시킨다.

ABSTRACT

Learning sophisticated feature interactions is crucial for Click-Through Rate (CTR) prediction in recommender systems. Various deep CTR models follow an Embedding & Feature Interaction paradigm. The majority focus on designing network architectures in Feature Interaction module to better model feature interactions while the Embedding module, serving as a bottleneck between data and Feature Interaction module, has been overlooked. The common methods for numerical feature embedding are Normalization and Discretization. The former shares a single embedding for intra-field features and the latter transforms the features into categorical form through various discretization approaches. However, the first approach surfers from low capacity and the second one limits performance as well because the discretization rule cannot be optimized with the ultimate goal of CTR model. To fill the gap of representing numerical features, in this paper, we propose AutoDis, a framework that discretizes features in numerical fields automatically and is optimized with CTR models in an end-to-end manner. Specifically, we introduce a set of meta-embeddings for each numerical field to model the relationship among the intra-field features and propose an automatic differentiable discretization and aggregation approach to capture the correlations between the numerical features and meta-embeddings. Comprehensive experiments on two public and one industrial datasets are conducted to validate the effectiveness of AutoDis over the SOTA methods.

연구 동기 및 목표

• 고정되거나 최적화되지 않은 이산화 규칙으로 인해 CTR 모델의 성능이 저하되는 문제를 해결하기 위해.
• CTR 모델과 함께 엔드 투 엔드로 효과적인 이산화 전략을 학습함으로써 수치형 특징의 표현을 향상시키기 위해.
• 기존 임베딩 모듈이 수치형 필드 내 특징 간 관계를 효율적으로 활용하지 못하는 성능 저하 문제를 해결하기 위해.
• 이산화와 특징 상호작용을 함께 최적화할 수 있는 미분 가능한 프레임워크를 설계하기 위해.

제안 방법

• 각 수치형 필드별로 메타임베딩을 도입하여 필드 내 특징 간 관계를 모델링한다.
• 기울기 기반 최적화를 통해 최적의 비닝 규칙을 학습하는 미분 가능한 이산화 메커니즘을 제안한다.
• 학습된 이산화 기반으로 수치형 특징을 메타임베딩으로 매핑하는 미분 가능한 집계 레이어를 활용한다.
• 이산화 및 집계 구성 요소를 통해 기울기를 역전파함으로써 엔드 투 엔드 학습을 가능하게 한다.
• 수치 값을 미분 가능한 방식으로 이산화 비닝에 할당하기 위한 학습 가능한 라우팅 메커니즘을 사용한다.
• 전체 파ip라인을 딥 CTR 모델에 통합하여 특징 이산화와 상호작용의 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 수치형 특징의 자동이고 미분 가능한 이산화가 CTR 예측 성능을 향상시킬 수 있는가?
• RQ2 수동으로 설정되거나 고정된 비닝 전략에 비해, 이산화 규칙을 엔드 투 엔드로 최적화하는 방식은 어떤가?
• RQ3 메타임베딩이 수치형 특징 간 필드 내 관계를 얼마나 잘 모델링하는가?
• RQ4 제안된 프레임워크는 다양한 데이터셋, 특히 산업 규모의 데이터에 대해 일반화 가능한가?

주요 결과

• AutoDis는 두 개의 공개 CTR 예측 데이터셋과 한 개의 산업 데이터셋에서 최고 성능을 기록했다.
• CTR 예측 정확도에서 전통적인 정규화 및 고정 이산화 기반 베이스라인보다 유의미하게 뛰어난 성능을 보였다.
• 제거 실험을 통해 메타임베딩과 미분 가능한 이산화 구성 요소가 성능 향상에 기여하는 것으로 확인되었다.
• 미분 가능한 이산화를 통한 엔드 투 엔드 학습은 더 나은 특징 표현과 향상된 모델 일반화 능력을 이끌어냈다.