[논문 리뷰] CAN: Revisiting Feature Co-Action for Click-Through Rate Prediction.

Guorui Zhou, Weijie Bian외 14명|arXiv (Cornell University)|2020. 11. 11.

Image and Video Quality Assessment참고 문헌 22인용 수 9

한 줄 요약

이 논문은 구조적 어텐션 메커니즘을 통해 비선형적 특성 공행동작을 명시적으로 캡처하는 새로운 딥러닝 모델인 기능 공행동작 네트워크(CAN)를 제안한다. CAN은 예측 정확도를 향상시키면서도 계산 및 저장 비용을 절감하여 알리바바에서 산업적 도입 시 12% 높은 CTR와 8% 높은 RPM을 달성한다.

ABSTRACT

Inspired by the success of deep learning, recent industrial Click-Through Rate (CTR) prediction models have made the transition from traditional shallow approaches to deep approaches. Deep Neural Networks (DNNs) are known for its ability to learn non-linear interactions from raw feature automatically, however, the non-linear feature interaction is learned in an implicit manner. The non-linear interaction may be hard to capture and explicitly model the extit{co-action} of raw feature is beneficial for CTR prediction. extit{Co-action} refers to the collective effects of features toward final prediction. In this paper, we argue that current CTR models do not fully explore the potential of feature co-action. We conduct experiments and show that the effect of feature co-action is underestimated seriously. Motivated by our observation, we propose feature Co-Action Network (CAN) to explore the potential of feature co-action. The proposed model can efficiently and effectively capture the feature co-action, which improves the model performance while reduce the storage and computation consumption. Experiment results on public and industrial datasets show that CAN outperforms state-of-the-art CTR models by a large margin. Up to now, CAN has been deployed in the Alibaba display advertisement system, obtaining averaging 12\% improvement on CTR and 8\% on RPM.

연구 동기 및 목표

• 기존 CTR 예측 모델에서 비선형 상호작용을 암묵적으로 학습하지만 기능 공행동작의 잠재력이 충분히 활용되지 않는 문제를 해결하기 위해.
• 기능 공행동작을 명시적으로 모델링하면 CTR 예측 성능에 유의미한 향상이 이루어지는지 조사하기 위해.
• 계산 또는 저장 오버헤드를 증가시키지 않으면서도 공행동작 효과를 효율적으로 캡처할 수 있는 모델을 설계하기 위해.
• 공개 및 산업 데이터셋에서 제안된 방법의 효과성을 검증하기 위해.
• 대규모 광고 시스템에서 실생활 적용을 통해 실질적 영향을 평가하기 위해.

제안 방법

• 기능 쌍의 집합적 영향을 학습 가능한 공행동작 모듈을 통해 명시적으로 모델링하는 기능 공행동작 네트워크(CAN)를 제안한다.
• 기능 공행동작 패턴의 중요도를 동적으로 가중치를 매기기 위해 구조적 어텐션 메커니즘을 도입한다.
• 기본 DNN에 비해 불필요한 파라미터화를 줄여 높은 효율성을 유지하는 경량 아키텍처를 설계한다.
• 저비용으로 고차원 기능 상호작용을 효율적으로 계산하기 위해 요소 분해 기반 상호작용 모듈을 활용한다.
• 학습 안정성 향상과 수렴성 향상을 위해 잔차 연결 및 정규화 레이어를 활용한다.
• CTR 예측을 위한 표준 이진 교차 엔트로피 손실 함수와 함께 표준 backpropagation을 사용해 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 최신 CTR 모델에서 기능 공행동작의 잠재력이 얼마나 충분히 활용되지 않고 있는가?
• RQ2 기능 공행동작을 명시적으로 모델링하면 CTR 예측 성능에 측정 가능한 향상이 이루어지는가?
• RQ3 기존의 딥 CTR 모델과 비교해 제안된 CAN 모델은 계산 및 메모리 사용 측면에서 높은 효율성을 유지하는가?
• RQ4 실세계 산업 데이터셋에서 CAN은 최신 기준(SOTA) 기준 모델보다 어떻게 성능을 내는가?
• RQ5 대규모 광고 시스템에 CAN을 도입하면 실질적인 영향은 어떠한가?

주요 결과

• 제안된 CAN 모델은 기준 모델 대비 알리바바 디스플레이 광고 시스템에서 CTR에 대해 12%의 상대적 향상을 달성한다.
• 산업적 도입에서 CAN은 RPM을 8% 향상시켜 실질적인 비즈니스 영향을 입증한다.
• 공개 및 산업 데이터셋에서의 실험을 통해 CAN은 최신 기준 CTR 모델을 크게 앞서는 성능을 보인다.
• 모델은 이전 모델이 충분히 활용하지 못한 비선형적 기능 공행동작을 효과적으로 캡처한다.
• 예측 정확도를 유지하거나 향상시키면서도 저장 및 계산 소비를 모두 감소시킨다.
• 모델은 알리바바에서 생산 환경에 성공적으로 도입되어 실제 환경에서의 확장성과 견고성을 입증했다.