[논문 리뷰] Product-based Neural Networks for User Response Prediction over Multi-field Categorical Data

Yanru Qu, Bohui Fang외 6명|arXiv (Cornell University)|2018. 07. 01.

Recommender Systems and TechniquesComputer Science참고 문헌 47인용 수 22

한 줄 요약

이 논문은 다중 분야의 순서형 데이터에서 사용자 반응 예측을 향상시키기 위해 제품 기반 신경망(PNNs)과 새로운 PIN(제품망 내부망) 아키텍처를 제안한다. 필드 인식 특성 상호작용을 모델링하기 위해 커널 곱층을 도입하고, 깊은 신경망에서의 기울기 민감도 문제를 해결함으로써 PNNs는 4개의 산업 데이터셋에서 AUC와 로그 손실 측면에서 8개의 기준 모델을 초월하는 최신 기술 수준의 성능을 달성하였으며, 온라인 A/B 테스트에서 CTR가 34.67% 상대적으로 향상됨을 보였다.

ABSTRACT

User response prediction is a crucial component for personalized information retrieval and filtering scenarios, such as recommender system and web search. The data in user response prediction is mostly in a multi-field categorical format and transformed into sparse representations via one-hot encoding. Due to the sparsity problems in representation and optimization, most research focuses on feature engineering and shallow modeling. Recently, deep neural networks have attracted research attention on such a problem for their high capacity and end-to-end training scheme. In this paper, we study user response prediction in the scenario of click prediction. We first analyze a coupled gradient issue in latent vector-based models and propose kernel product to learn field-aware feature interactions. Then we discuss an insensitive gradient issue in DNN-based models and propose Product-based Neural Network (PNN) which adopts a feature extractor to explore feature interactions. Generalizing the kernel product to a net-in-net architecture, we further propose Product-network In Network (PIN) which can generalize previous models. Extensive experiments on 4 industrial datasets and 1 contest dataset demonstrate that our models consistently outperform 8 baselines on both AUC and log loss. Besides, PIN makes great CTR improvement (relatively 34.67%) in online A/B test.

연구 동기 및 목표

• 잠재 벡터 기반 모델인 FFM와 같이 기울기 결합 문제로 인해 효과적인 필드 인식 특성 상호작용 학습이 제한되는 문제를 해결하기 위해.
• 희소한 원-핫 인코딩 다중 분야 순서형 데이터에서 학습할 때 표준 DNN에서 기인하는 기울기 민감도 문제를 극복하기 위해.
• 효율성과 확장성을 유지하면서 고차원 특성 상호작용을 명시적으로 모델링할 수 있는 딥러닝 아키텍처를 설계하기 위해.
• FM, FFM, 표준 DNNs와 같은 기존 모델을 통합하고 향상시킬 수 있는 일반화 가능한 프레임워크를 개발하기 위해.
• 실제 산업 데이터셋에서 제안된 모델을 검증하고 오프라인 메트릭과 온라인 A/B 테스트 모두에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 특정 필드의 임bedding 간 쌍별 상호작용에 대해 학습 가능한 커널을 적용하여 필드 인식 특성 상호작용을 계산하는 커널 곱층을 제안한다.
• 특성 추출기와 곱층을 조합하여 특성 상호작용을 모델링한 후 깊은 분류기로 전달하는 제품 기반 신경망(PNN) 아키텍처를 도입한다.
• 더 유연한 상호작용 모델링을 위해 곱층을 하위 네트워크로 교체할 수 있는 일반화된 PNN의 확장판인 제품망 내부망(PIN)을 개발한다.
• 표준 DNN가 다항식 2차 함수(poly-2 함수)를 학습할 때 기울기 민감도 문제를 야기함을 이론적으로 분석하여 밝혀낸다.
• 다항식 2차 함수를 갖는 시뮬레이션 실험을 통해 DNN가 유니버설 근사성 조건을 만족함에도 불구하고 최적 해로 수렴하지 못함을 입증하며, 명시적 상호작용 모델링의 필요성을 강조한다.
• 스티어티식 기울기 하강법을 사용해 모델을 엔드 투 엔드로 훈련하고, 시뮬레이션 및 실제 산업 데이터셋에서 AUC와 로그 손실을 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 기존 잠재 벡터 기반 모델인 FFM처럼 기울기 결합 문제로 인해 제약을 받는 경우에 비해, 필드 인식 특성 상호작용은 더 효과적으로 학습될 수 있는가?
• RQ2 표준 DNN에 비해 희소한 다중 분야 순서형 데이터에서 명시적인 곱층을 포함함으로써 성능 향상이 이루어지는가?
• RQ3 FM, FFM, 표준 DNNs와 같은 기존 모델을 통합하고 초월할 수 있는 일반 아키텍처인 PIN은 사용자 반응 예측에서 성능을 높일 수 있는가?
• RQ4 DNN에서의 기울기 민감도 문제로 인해 희소한 데이터 환경에서 단순하고 구조화된 함수인 다항식 2차 함수(poly-2)의 학습이 얼마나 방해받는가?
• RQ5 제안된 모델은 실제 산업 응용에서 오프라인 메트릭과 온라인 A/B 테스트 모두에서 측정 가능한 향상 효과를 달성하는가?

주요 결과

• PNNs는 4개의 산업 데이터셋에서 AUC와 로그 손실 모두에서 8개의 기준 모델을 지속적으로 능가하여 더 뛰어난 일반화 능력과 예측 정확도를 입증하였다.
• PIN 아키텍처는 온라인 A/B 테스트에서 CTR가 34.67% 상대적으로 향상되어 실제 적용에서의 효과성을 입증하였다.
• 시뮬레이션 실험 결과, 표준 DNN는 깊이와 넓이를 늘여도 다항식 2차 함수에 대해 최적 해로 수렴하지 못함을 보이며 내재된 기울기 민감도 문제를 확인하였다.
• 커널 곱층은 필드 인식 특성 상호작용을 효과적으로 포착하고 FFM 및 유사 모델에서 발생하는 기울기 결합 문제를 완화한다.
• 제안된 모델은 다양한 데이터 희소성 수준에서 뛰어난 성능을 보이며, 표준 DNN보다 훈련 안정성과 수렴 성능 향상을 보였다.
• PIN의 일반화 능력은 기존 모델을 통합하고 향상시킬 수 있음을 보여주며, 정보 검색 시스템에서의 미래 딥러닝 방향성으로 유망한 가능성을 시사한다.