[논문 리뷰] Contextual Multi-Armed Bandits for Causal Marketing

Neela Sawant, Chitti Babu Namballa외 2명|arXiv (Cornell University)|2018. 10. 02.

Advanced Bandit Algorithms Research참고 문헌 25인용 수 10

한 줄 요약

이 논문은 반사적 추론을 사용하여 원인적(증분) 치료 효과를 추정하고 최적화함으로써 마케팅 캠페인 타겟팅을 최적화하는 문맥 기반 다중 손잡이 슬롯머신 프레임워크를 제안한다. 톰슨 샘플링과 KNN 기반 CATE 추정을 활용하여 비원인적 기준선 대비 뛰어난 성능을 보이며, 상위 1% 고객 대상으로 최대 209개의 증분 단위의 비즈니스 지표 향상을 달성한다.

ABSTRACT

This work explores the idea of a causal contextual multi-armed bandit approach to automated marketing, where we estimate and optimize the causal (incremental) effects. Focusing on causal effect leads to better return on investment (ROI) by targeting only the persuadable customers who wouldn't have taken the action organically. Our approach draws on strengths of causal inference, uplift modeling, and multi-armed bandits. It optimizes on causal treatment effects rather than pure outcome, and incorporates counterfactual generation within data collection. Following uplift modeling results, we optimize over the incremental business metric. Multi-armed bandit methods allow us to scale to multiple treatments and to perform off-policy policy evaluation on logged data. The Thompson sampling strategy in particular enables exploration of treatments on similar customer contexts and materialization of counterfactual outcomes. Preliminary offline experiments on a retail Fashion marketing dataset show merits of our proposal.

연구 동기 및 목표

• 관측된 결과에 최적화하는 기존 마케팅 모델의 비효율성(즉, 원인적(증분) 효과가 아닌)을 해결하기 위해.
• 개입이 없으면 행동하지 않을 '영향을 받을 수 있는' 고객들만 타겟팅하여 ROI를 향상시키기 위해.
• 기록된 데이터를 기반으로 한 비정책 평가를 통해 다수의 캠페인에 대해 신속하고 확장 가능한 캠페인 최적화를 가능하게 하기 위해.
• 데이터 수집 과정에서 반사적 생성을 통합하여 진정한 원인적 효과를 추정하기 위해.
• 업계 실세계 패션 마케팅 데이터셋을 대상으로 업그레이드 지표를 사용하여 방법의 성능을 평가하기 위해.

제안 방법

• 조건부 평균 치료 효과(CATE)를 𝜏(𝐱) = 𝔼[Y(1) − Y(0)|X = 𝐱]로 정의하기 위해 루빈 원인 모델을 사용한다.
• 각 고객의 맥락에 대해 반사적 결과를 실현시킬 수 있도록 확률적 탐색을 수행하기 위해 톰슨 샘플링을 적용한다.
• 다른 캠페인 하에서 유사한 고객들 간의 결과를 비교함으로써 K-최근접 이웃(KNN)을 사용해 CATE를 추정한다.
• 변환된 결과 모델링을 통해 CATE의 편향 없는 추정량을 만들고, 증분 효과에 직접적으로 회귀 분석을 가능하게 한다.
• 다양한 캠페인에 걸쳐 확장 가능하게 하기 위해 다중 손잡이 슬롯머신을 통합하고 이전 기록된 데이터를 기반으로 한 비정책 평가를 수행한다.
• 관측된 결과가 아닌 증분 비즈니스 지표를 최적화하여 진정한 원인적 영향에 집중한다.

실험 결과

연구 질문

• RQ1 문맥 기반 다중 손잡이 슬롯머신 프레임워크는 마케팅 분야에서 원인적(증분) 치료 효과를 효과적으로 추정하고 최적화할 수 있는가?
• RQ2 톰슨 샘플링을 통한 반사적 추론은 비원인적 모델 대비 캠페인 타겟팅에 어떻게 향상되는가?
• RQ3 업그레이드 예측에서 KNN 기반 CATE 추정은 이중 모델 접근법 대비 어떤 성능 향상을 보이는가?
• RQ4 여러 캠페인에 대해 원인적 정확도를 유지하면서 비정책 평가를 가능하게 하기 위해 어떻게 확장되는가?
• RQ5 관측된 결과 대비 증분 효과에 최적화함으로써 ROI는 얼마나 향상되는가?

주요 결과

• 원인적 슬롯머신 모델은 상위 1% 고객 대상으로 비즈니스 지표에서 209 단위의 업그레이드를 달성했으며, 비원인적 모델은 108 단위였다.
• 순위가 상위 10%인 인구 집단에서 원인적 모델은 74 단위의 업그레이드를 달성했고, 비원인적 모델은 70 단위였다.
• KNN 기반 CATE 추정기는 특히 상위 10% 인구 집단에서 이중 모델 접근법을 일관되게 능가했으며, 더 안정적이고 높은 업그레이드를 기록했다.
• 업그레이드 곡선은 원인적 모델이 모든 분위수에서 우월함을 보이며, 가장 타겟팅 가능한 세그먼트에서 가장 큰 증분 성과를 기록했다.
• 전체 인구 집단에서 원인적 모델은 28.2 단위의 증분 업그레이드를 달성했고, 비원인적 모델은 26.7 단위였다.
• 결과는 마케팅이 영향을 줄 수 있는 고객들만 타겟팅함으로써 원인적 효과에 집중함으로써 훨씬 더 높은 ROI를 달성할 수 있음을 입증한다.