[논문 리뷰] Personalized Treatment Selection using Causal Heterogeneity

Ye Tu, Kinjal Basu외 5명|arXiv (Cornell University)|2019. 01. 29.

Advanced Bandit Algorithms Research참고 문헌 34인용 수 5

한 줄 요약

이 논문은 A/B 테스트에서의 인과적 이질성(causal heterogeneity)을 활용하여 개인화된 치료 선택을 위한 이단계 프레임워크를 제안한다: 먼저 군집 또는 사용자 수준에서 이질적 치료 효과를 추정하고, 그 다음 제약 조건이 있는 확률적 최적화를 통해 치료 배분을 최적화한다. 이 방법은 전역 배분 및 히우리스틱 접근 방식보다 뚜렷이 뛰어나며, LinkedIn의 실제 알림 제한 실험에서 사용자 세션 수는 1.39% 증가하고 알림 전송 수는 1.64% 증가시켰다.

ABSTRACT

Randomized experimentation (also known as A/B testing or bucket testing) is widely used in the internet industry to measure the metric impact obtained by different treatment variants. A/B tests identify the treatment variant showing the best performance, which then becomes the chosen or selected treatment for the entire population. However, the effect of a given treatment can differ across experimental units and a personalized approach for treatment selection can greatly improve upon the usual global selection strategy. In this work, we develop a framework for personalization through (i) estimation of heterogeneous treatment effect at either a cohort or member-level, followed by (ii) selection of optimal treatment variants for cohorts (or members) obtained through (deterministic or stochastic) constrained optimization. We perform a two-fold evaluation of our proposed methods. First, a simulation analysis is conducted to study the effect of personalized treatment selection under carefully controlled settings. This simulation illustrates the differences between the proposed methods and the suitability of each with increasing uncertainty. We also demonstrate the effectiveness of the method through a real-life example related to serving notifications at Linkedin. The solution significantly outperformed both heuristic solutions and the global treatment selection baseline leading to a sizable win on top-line metrics like member visits.

연구 동기 및 목표

• 모든 사용자에게 동일한 치료를 적용하는 A/B 테스트에서의 전역 치료 배분의 비최적성 문제를 해결하기 위해.
• 무작위 실험에서 유래한 인과적 이질성을 활용하여 군집 또는 사용자 수준에서 개인화된 치료 선택을 가능하게 하는 방법을 개발하기 위해.
• 다양한 제약 조건(예: 가드레일 지표) 하에서 확률적 최적화 기법을 사용해 치료 배분을 최적화하기 위해.
• 불확실성 하에서의 성능 평가 및 전역 배분 및 히우리스틱 기반 대안과의 비교를 위해.
• 제약 조건 준수를 유지하면서 핵심 비즈니스 지표 향상에 실질적인 효과를 보이는지 입증하기 위해.

제안 방법

• A/B 테스트 데이터를 기반으로 인과 숲 또는 트리 모델을 훈련하여 이질적 치료 효과를 추정하고, 신뢰구간 커버리지 향상을 위해 정직한 추정(의도된 추정)을 적용한다.
• 추정된 치료 효과 이질성에 기반해 사용자를 군집으로 묶어 더 세분화된 개인화를 가능하게 한다.
• 다중 기대치 제약 조건을 가진 최적화 문제를 해결하기 위해 CSA 알고리즘 기반의 확률적 최적화 프레임워크(CT.ST)를 적용한다.
• 표본 평균 근사와 분산 인식 추정을 사용해 치료 효과 추정의 불확실성을 다룬다.
• 이중 단계 파ip라인을 구현한다: (1) 인과적 이질성 추정, (2) 치료 선택을 위한 제약 조건 최적화.
• 성능와 리스크의 균형을 고려해 결정론적 및 확률적 치료 배분 전략을 모두 지원한다.

실험 결과

연구 질문

• RQ1 인과적 이질성에 기반한 개인화된 치료 선택이 실제 A/B 테스트 환경에서 전역 배분에 비해 뚜렷이 뛰어난 성능을 보일 수 있는가?
• RQ2 치료 효과 추정의 불확실성이 증가함에 따라 제안된 방법의 성능는 어떻게 변화하는가?
• RQ3 군집 수준의 개인화가 세션 수나 알림 참여도와 같은 핵심 비즈니스 지표에 어떤 영향을 미치는가?
• RQ4 주요 목표를 극대화하면서도 부정적 지표(예: 비활성화 수)에 대한 제약 조건 준수는 어떻게 유지되는가?
• RQ5 낮은 지연 시간과 메모리 오버헤드로 생산 환경에 효과적으로 구현될 수 있는가?

주요 결과

• 제안된 방법은 사용자 세션 수를 1.39% 상대적으로 증가시켜 전역 배분 기준선 및 히우리스틱 방법보다 뚜렷이 뛰어난 성능를 보였다.
• 알림 전송 수는 개인화 접근 방식에서 1.64% 증가했으며, 두 히우리스틱 기반 기준선 대비 각각 6.62%와 3.07% 증가했다.
• 방법은 제약 조건 준수를 유지했으며, 총 비활성화 수는 변화가 없었지만, 히우리스틱 접근 방식은 비활성화 수를 최대 9.23%까지 증가시켰다.
• CT.ST 최적화 방법은 불확실성 하에서도 강건성을 보이며, 다양한 지표에서 히우리스틱 및 전역 배분 전략을 모두 초월했다.
• LinkedIn에서 매일 알림 제한을 개인화하기 위해 성공적으로 구현되었으며, 핵심 지표에서 뚜렷한 성과를 거두었다.
• 다양한 선호도를 가진 소수자 그룹에 대해 다른 치료를 허용함으로써 더 포괄적인 경험을 가능하게 했다.