[논문 리뷰] Uplift Modeling for Multiple Treatments with Cost Optimization

Zhenyu Zhao, Totte Harinen|arXiv (Cornell University)|2019. 08. 14.

Advanced Causal Inference Techniques참고 문헌 46인용 수 4

한 줄 요약

이 논문은 다양한 비용을 가진 다중 치료군을 지원하도록 메타러닝 업적 모델을 확장하고, 순가치 최적화를 도입하여 전환 수익과 치료 비용을 균형 잡는다. 제안된 NV-R러닝 모델과 NV-X러닝 모델은 시뮬레이션 및 실세계 데이터에서 표준 방법 대비 순가치 및 계산 속도 측면에서 뛰어난 성능을 보였다.

ABSTRACT

Uplift modeling is an emerging machine learning approach for estimating the treatment effect at an individual or subgroup level. It can be used for optimizing the performance of interventions such as marketing campaigns and product designs. Uplift modeling can be used to estimate which users are likely to benefit from a treatment and then prioritize delivering or promoting the preferred experience to those users. An important but so far neglected use case for uplift modeling is an experiment with multiple treatment groups that have different costs, such as for example when different communication channels and promotion types are tested simultaneously. In this paper, we extend standard uplift models to support multiple treatment groups with different costs. We evaluate the performance of the proposed models using both synthetic and real data. We also describe a production implementation of the approach.

연구 동기 및 목표

• 산업에서 흔한 다중 치료군을 가진 실험에 대한 업적 모델링의 격차를 해소하기 위해, 현재 문헌에서 다루지 않은 다중 치료군 설정을 고려한다.
• 실세계 간섭 조치는 종종 이행 비용이나 기회비용이 다르므로, 치료 비용을 업적 모델링에 통합하여 비용 인식 기반 의사결정을 가능하게 한다.
• 시뮬레이션 및 실세계 데이터를 사용하여 다중 치료 설정에서 확장된 메타러닝 모델의 성능을 순가치 및 계산 효율성에 중점을 두고 평가한다.
• 온라인 및 오프라인 업적 모델링을 위한 확장 가능한 플랫폼 구현체를 개발하고 구축한다.
• 비용 인식 모델이 평균 전환율이 낮을지라도 순가치 최적화에서 표준 업적 모델을 능가함을 실증적으로 입증한다.

제안 방법

• R러닝 및 X러닝이라는 두 표준 메타러닝 프레임워크를 다중 치료군 설정으로 확장하기 위해, 결과 및 성향 점수 추정을 다중 치료군에 맞게 조정한다.
• 증가 전환 확률과 치료 비용을 통합하는 순가치 목적 함수를 도입하여 사용자당 기대 순가치 최적화를 가능하게 한다.
• 메타러닝 학습 과정에서 가중 손실 함수를 사용하여 순가치가 높은 치료군을 우선순위로 지정한다.
• 최고 성능 모델을 선택하기 위해 AUUC를 평가 지표로 사용하는 교차검증을 적용한다.
• 온라인 실시간 추론과 오프라인 배치 처리를 모두 지원하는 확장 가능한 파이썬 기반 플랫폼에서 모델을 구현한다.
• API 또는 배치 파이프라인을 통해 모델 출력을 생산 환경 시스템에 통합하여 온라인 서비스(예: 앱 내 알림) 및 오프라인 시스템(예: CRM 플랫폼)에서 활용 가능하게 한다.

실험 결과

연구 질문

• RQ1 표준 메타러닝 업적 모델은 단일 치료군과 대조군을 초월해 다중 치료군을 효과적으로 처리할 수 있는가?
• RQ2 업적 모델링 목적 함수에 치료 비용을 통합함으로써 순가치는 표준 업적 모델(비용을 忽시하는)보다 어떻게 향상되는가?
• RQ3 제안된 순가치 최적화 모델(NV-R러닝, NV-X러닝)은 순가치 및 계산 효율성 측면에서 기준 모델 대비 상대적으로 어떻게 성능을 내는가?
• RQ4 이질적인 치료 비용과 다양한 전환 결과를 가진 실세계 시나리오에서 모델의 성능은 어떠한가?
• RQ5 생산 환경에서 업적 모델을 대규모로 구현할 때의 실용적 과제와 설계 고려사항은 무엇인가?

주요 결과

• NV-R러닝 및 NV-X러닝 모델은 평균 사용자당 순가치 측면에서 표준 업적 모델과 원래 실험 그룹을 뛰어넘었으며, 95% 신뢰구간에서 통계적 유의성을 입증했다.
• 순가치 최적화 모델은 높은 전환율 치료군보다 평균 전환율이 낮을지라도 기대 순가치를 더 높게 달성하여 비용 인식 최적화의 가치를 입증했다.
• 실세계 데이터에서 NV-R러닝 및 NV-X러닝 모델은 순가치 및 계산 속도 측면에서 다른 다중 치료 업적 모델보다 뛰어난 성능을 보였다.
• 예를 들어 고비용 전화 통화와 같이 증가 전환 가치가 치료 비용보다 낮은 상황에서는 순가치 최적화 모델이 그러한 치료를 정확히 선택하지 않음을 확인했다.
• 플랫폼 구현체는 온라인 및 오프라인 사용 케이스를 모두 성공적으로 지원하여 사용자 수준의 업적 예측 기반 실시간 및 배치 타겟팅을 가능하게 했다.
• 실증 결과는 표준 메타러닝 모델이나 비비용 인식 모델이 치료 선택의 비용 트레이드오프를 고려하지 못해 순가치 향상을 달성하지 못함을 보여주었다.