[논문 리뷰] Operation-aware Neural Networks for User Response Prediction

Yi Yang, Baile Xu외 2명|arXiv (Cornell University)|2019. 04. 02.

Recommender Systems and Techniques참고 문헌 12인용 수 4

한 줄 요약

이 논문은 사용자 응답 예측에서 다양한 연산(예: 내적, 외적)에 대해 별개의 특징 표현을 학습하는 Operation-aware Neural Networks(ONN)를 제안한다. 각 연산에 대해 임베딩을 분리함으로써 고차원 특징 상호작용을 더 잘 모델링할 수 있으며, 특히 온라인 학습 환경에서 더 빠른 수렴 속도를 보이며 CTR/CVR 예측에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

User response prediction makes a crucial contribution to the rapid development of online advertising system and recommendation system. The importance of learning feature interactions has been emphasized by many works. Many deep models are proposed to automatically learn high-order feature interactions. Since most features in advertising system and recommendation system are high-dimensional sparse features, deep models usually learn a low-dimensional distributed representation for each feature in the bottom layer. Besides traditional fully-connected architectures, some new operations, such as convolutional operations and product operations, are proposed to learn feature interactions better. In these models, the representation is shared among different operations. However, the best representation for different operations may be different. In this paper, we propose a new neural model named Operation-aware Neural Networks (ONN) which learns different representations for different operations. Our experimental results on two large-scale real-world ad click/conversion datasets demonstrate that ONN consistently outperforms the state-of-the-art models in both offline-training environment and online-training environment.

연구 동기 및 목표

• 기존 사용자 응답 예측을 위한 딥 러닝 모델에서 다양한 연산 간 공유되는 특징 표현의 한계를 해결하기 위해.
• 각 연산 전용 임베딩을 학습하여 고차원 특징 상호작용을 더 잘 모델링하기 위해.
• 오프라인 및 온라인 학습 환경 모두에서 성능을 향상시키며, 특히 실시간 광고 시스템에 적합하게 하기 위해.
• CTR/CVR 예측을 위한 신경망 아키텍처에서 더 유연하고 효과적인 특징 표현 학습을 가능하게 하기 위해.

제안 방법

• 각 특징이 사용되는 연산에 따라 별개의 저차원 표현을 학습하는 연산 인식 임베딩 레이어를 제안한다.
• 공유 임베딩이 아닌 각 연산 전용 임베딩에 대해 여러 연산(예: 내적, 외적)을 적용하는 Operation-aware Neural Networks(ONN)를 도입한다.
• 비선형 상호작용을 학습하기 위해 연산의 출력에 다층퍼셉트론(MLP)을 적용하며, 확률 추정을 위해 시그모이드 출력을 사용한다.
• 내적, 외적, 서브넷워크 연산을 포함한 다수의 연산 유형을 지원하며, 이를 조합할 수 있는 옵션을 제공한다.
• 각 특징에 대해 공유 임베딩 매트릭스를 사용하지만, 각 연산에 따라 다른 변환을 적용함으로써 연산 전용 표현 학습을 가능하게 한다.
• 실제 광고 클릭/전환 데이터셋을 사용하여 평가하기 위해 ONN을 CTR/CVR 예측 작업에 적용한다.

실험 결과

연구 질문

• RQ1 각 연산 전용 임베딩을 학습하면 사용자 응답 예측에서 특징 표현 학습이 향상되는가?
• RQ2 각 연산에 대해 임베딩을 분리함으로써 공유 표현 대비 CTR/CVR 예측 성능이 향상되는가?
• RQ3 기존 모델 대비 ONN은 온라인 학습 환경에서 어떻게 성능을 발휘하는가?
• RQ4 내적, 외적 등 다양한 연산 중에서 성능과 계산 비용의 최적 균형을 이루는 것은 무엇인가?
• RQ5 ONN은 오프라인 및 온라인 학습을 포함한 다양한 데이터셋과 학습 환경에서 일반화 가능한가?

주요 결과

• ONN은 Criteo 및 Tencent Ad 데이터셋에서 로그손실, AUC, RMSE 측면에서 최신 기술 수준 모델을 일관되게 능가한다.
• 내적과 외적 연산의 조합이 가장 뛰어난 성능을 보이며, Criteo에서 로그손실 0.43541, Tencent Ad에서 0.10502를 기록했다.
• 기준 모델 대비 더 빠른 수렴 속도를 보이며, 온라인 학습 환경에서 뛰어난 성능을 보여 실시간 시스템에 매우 적합함을 시사한다.
• 서브넷워크 연산은 경쟁력 있는 성능을 보이며, Criteo 데이터셋에서 가장 높은 AUC(0.81178)를 기록하여 복잡한 상호작용 모델링 잠재력을 보여준다.
• 내적 연산만으로도 성능과 효율성의 균형을 고려할 때 가장 뛰어난 성능을 보이며, 가장 낮은 계산 비용을 기록한다.
• ONN은 텐센트 소셜 광고 대학 알고리즘 경연 대회에서 1등을 차지하여 실제 적용 가능성도 입증되었다.