[논문 리뷰] An End-to-End Framework for Marketing Effectiveness Optimization under Budget Constraint

Ziang Yan, Shusen Wang외 3명|arXiv (Cornell University)|2023. 02. 09.

Consumer Market Behavior and Pricing인용 수 4

한 줄 요약

이 논문은 다중 선택 배낭 문제를 위한 기대 결과 지표(EOM) 기반의 미분 가능 정규화 요소를 통합하여 예산 제약 조건 하에서 마케팅 효과성을 직접 최적화하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 유한 차분 및 자연 진화 전략(NES)과 같은 기울기 추정 기법을 사용하여 치료 효과 예측과 비즈니스 목표 최적화를 공동으로 최적화함으로써, 대규모 단편 영상 플랫폼에서 오프라인 및 온라인 A/B 테스트 모두에서 뚜렷한 향상을 이룬다.

ABSTRACT

Online platforms often incentivize consumers to improve user engagement and platform revenue. Since different consumers might respond differently to incentives, individual-level budget allocation is an essential task in marketing campaigns. Recent advances in this field often address the budget allocation problem using a two-stage paradigm: the first stage estimates the individual-level treatment effects using causal inference algorithms, and the second stage invokes integer programming techniques to find the optimal budget allocation solution. Since the objectives of these two stages might not be perfectly aligned, such a two-stage paradigm could hurt the overall marketing effectiveness. In this paper, we propose a novel end-to-end framework to directly optimize the business goal under budget constraints. Our core idea is to construct a regularizer to represent the marketing goal and optimize it efficiently using gradient estimation techniques. As such, the obtained models can learn to maximize the marketing goal directly and precisely. We extensively evaluate our proposed method in both offline and online experiments, and experimental results demonstrate that our method outperforms current state-of-the-art methods. Our proposed method is currently deployed to allocate marketing budgets for hundreds of millions of users on a short video platform and achieves significant business goal improvements. Our code will be publicly available.

연구 동기 및 목표

• 이중 단계 마케팅 최적화 파이프라인에서 치료 효과 추정과 예산 배정 목표 간의 괴리 문제를 해결하기 위해.
• 통합 엔드 투 엔드 프레임워크를 통해 예산 제약 조건 하에서 비즈니스 목표(예: 사용자 반응률)를 직접 최적화하기 위해.
• 치료 효과 추정에서 프oxy 목표에 의존하는 대신, 딥 네ural 네트워크가 실제 마케팅 결과 지표에서 학습할 수 있도록 하기 위해.
• 예산 배정의 정수 프로그래밍 기반 목적 함수의 비가역성 문제를 기울기 추정을 통해 극복하기 위해.
• 수억 명의 사용자가 있는 실제 단편 영상 플랫폼에서 대규모로 방법을 구현하고 검증하기 위해.

제안 방법

• 사용자 수준의 치료 효과와 비용을 고려하여 예산 배정 문제를 다중 선택 배낭 문제(MCKP)로 공식화한다.
• 기대 결과 지표(EOM) 방법을 사용하여 기대 비즈니스 결과의 불편추정량 $Q$를 구성한다.
• S-러너 신경망 학습 목표에 $Q$를 미분 가능 정규화 요소로 통합하여 마케팅 효과성에 직접 최적화한다.
• 비가역적인 $Q$ 함수의 기울기를 추정하기 위해 유한 차분과 자연 진화 전략(NES)을 사용하여 역전파를 수행한다.
• 공동 최적화에서 예측 손실과 마케팅 목표 정규화 요소의 균형을 맞추기 위해 하이퍼파rameter $\lambda$를 사용한다.
• 실제 마케팅 캠프에이션에 프레임워크를 적용하고, 대규모 단편 영상 플랫폼에서 모델 재학습 및 배포를 수행한다.

실험 결과

연구 질문

• RQ1 기본적으로 비즈니스 목표를 직접 최적화하는 엔드 투 엔드 딥 러닝 프레임워크가 이중 단계 접근 방식보다 마케팅 예산 할당에서 뛰어난 성능을 낼 수 있는가?
• RQ2 정수 프로그래밍 기반 목적 함수의 비가역성은 어떻게 극복하여 기울기 기반 최적화를 마케팅 효과성에 적용할 수 있는가?
• RQ3 유한 차분과 NES 등 다양한 기울기 추정 전략이 최적화 성능과 계산 비용에 미치는 영향은 어떠한가?
• RQ4 $\lambda$가 정규화 요소를 제어하는 데 영향을 미치며, 실제 배포에서 모델의 안정성과 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 대규모 플랫폼에서 오프라인 지표와 온라인 A/B 테스트 양면에서 측정 가능한 향상을 이룰 수 있는가?

주요 결과

• CRITEO-UPLIFT v2 데이터셋에서, 기울기 추정에 유한 차분 기법을 사용한 제안된 방법은 AUCC 0.7904 ± 0.0096을 달성하여 이전 최고 수준의 방법(DRP)의 0.7739 ± 0.0002보다 뚜렷이 뛰어나다.
• 유한 차분 기반 방법은 NVIDIA Tesla T4 GPU에서 17.6시간이 소요되었고, NES 기반 변형은 4.3시간으로 완료되어 약 4배의 속도 향상이 있었지만 분산이 더 높았다.
• KUAISHOU-PRODUCE-COIN 데이터셋에서의 오프라인 평가에서는 최적의 $\lambda = 200$이 인당 반응을 가장 높였고, $\lambda \geq 500$일 경우 학습 불안정성과 TSM-SL보다 열 劣한 성능을 보였다.
• 온라인 A/B 테스트에서 제안된 방법은 TSM-SL 대비 인당 반응률이 1.24% 높고, 인당 비용은 0.369% 낮아 상당한 비즈니스 영향을 보였다.
• 현재 모델는 단편 영상 플랫폼에서 수억 명의 사용자에게 마케팅 예산을 할당하기 위해 배포되어 있으며, 확장성과 실제 세계 적용 효과를 확인했다.
• 결과는 기울기 기반 정규화 요소를 통한 비즈니스 목표 직접 최적화가 전통적인 이중 단계 파이프라인보다 실제 세계 목표와 더 잘 일치함을 보여준다.