[논문 리뷰] Targeting for long-term outcomes

Jeremy J. Yang, Dean Eckles외 2명|arXiv (Cornell University)|2020. 10. 29.

Consumer Market Behavior and Pricing참고 문헌 42인용 수 5

한 줄 요약

이 논문은 단기 대체지표에서 장기 결과를 추정하기 위해 사기적 색인 보정을 사용하는 이重 robust 정책 학습 접근법을 제안한다. 이는 장기 결과를 기다리지 않고 최적의 타겟팅을 가능하게 한다. 보스턴 글로브에서 실시한 두 개의 대규모 현장 실험에서, 이 방법은 3년 간 $400만–500만 달러의 순수 수익 증대 효과를 달성했으며, 실제 장기 결과로 훈련된 정책과 동일한 성능을 보였고, 단기 대체지표를 사용한 정책보다도 뛰어난 성능을 보였다.

ABSTRACT

Decision makers often want to target interventions so as to maximize an outcome that is observed only in the long-term. This typically requires delaying decisions until the outcome is observed or relying on simple short-term proxies for the long-term outcome. Here we build on the statistical surrogacy and policy learning literatures to impute the missing long-term outcomes and then approximate the optimal targeting policy on the imputed outcomes via a doubly-robust approach. We first show that conditions for the validity of average treatment effect estimation with imputed outcomes are also sufficient for valid policy evaluation and optimization; furthermore, these conditions can be somewhat relaxed for policy optimization. We apply our approach in two large-scale proactive churn management experiments at The Boston Globe by targeting optimal discounts to its digital subscribers with the aim of maximizing long-term revenue. Using the first experiment, we evaluate this approach empirically by comparing the policy learned using imputed outcomes with a policy learned on the ground-truth, long-term outcomes. The performance of these two policies is statistically indistinguishable, and we rule out large losses from relying on surrogates. Our approach also outperforms a policy learned on short-term proxies for the long-term outcome. In a second field experiment, we implement the optimal targeting policy with additional randomized exploration, which allows us to update the optimal policy for future subscribers. Over three years, our approach had a net-positive revenue impact in the range of $4-5 million compared to the status quo.

연구 동기 및 목표

• 장기 결과가 관찰되는 데 시간이 오래 걸려 정책 학습이 지연되는 상황에서 타겟팅 정책을 최적화하는 데 도전하는 것.
• 통계적 사기적 지표를 사용해 누락된 장기 결과를 보정함으로써, 빠르고 데이터 기반의 정책 최적화를 가능하게 하는 방법을 개발하는 것.
• 보정된 장기 결과로 학습된 정책이 실제 장기 결과로 훈련된 정책과 유사한 성능을 보이는지 평가하는 것.
• 무작위 탐색을 통해 비정상적인 소비자 행동 변화를 고려하여 실시간으로 최적의 정책을 구현하고 업데이트하는 것.
• 주요 뉴스 출판사의 사전 이탈 관리와 같은 실제 구독 관리 환경에서 이 방법의 효용성을 입증하는 것.

제안 방법

• 역사적 데이터에서 관측 가능한 단기 사기적 지표를 바탕으로 장기 결과의 조건부 기대값을 모델링하는 사기적 색인 추정기법을 사용해 장기 결과를 보정한다.
• 보정된 장기 결과를 기반으로 이중 robust 추정 프레임워크를 적용하여 타겟팅 정책을 최적화하며, 모델 잘못 설정에 대한 강건성을 확보한다.
• 부트스트랩 기반 톰슨 샘플링을 사용해 탐색을 유지하고, 여러 실험 파장 동안 동적 정책 업데이트를 가능하게 한다.
• 정책 성능을 비교함으로써 방법을 검증한다: 보정된 결과 기반 정책 vs. 진정한 장기 결과 기반 정책 vs. 단기 대체지표 기반 정책.
• 이중 단계 실험 설계를 활용: 첫 번째로 통제된 현장 실험을 통해 정책 성능 평가; 두 번째로 무작위 탐색을 통한 후속 실험을 통해 지속적인 정책 재최적화를 허용한다.
• 치료에서 장기 결과로 이르는 인과 경로 상의 위치를 고려해 도메인 지식을 기반으로 관련된 사기적 지표(예: 단기 수익, 콘텐츠 소비)를 선정한다.

실험 결과

연구 질문

• RQ1 보정된 장기 결과 기반으로 최적화된 정책이 진정한 장기 결과 기반 정책과 동일한 성능을 보일 수 있는가?
• RQ2 사기적 보정 결과 기반 정책의 성능은 장기 수익의 단기 대체지표 기반 정책과 비교해 어떻게 다른가?
• RQ3 무작위 탐색을 통해 사기적 보정 기반 정책을 시간이 지남에 따라 효과적으로 업데이트할 수 있는가?
• RQ4 사기적 보정이 유효한 정책 최적화 조건는 무엇이며, 평균 치료 효과 추정 조건과 어떻게 다를 수 있는가?
• RQ5 사기적 기반 정책 학습이 실제 구독 관리 환경에서 진정한 장기 결과 기반 정책이 달성한 수익 증대 효과를 어느 정도 재현할 수 있는가?

주요 결과

• 첫 번째 실험에서 보정된 장기 결과 기반 정책은 진짜 장기 결과 기반 정책과 통계적으로 구분되지 않으며, 성능 저하가 확인되지 않았다.
• 사기적 기반 정책는 장기 수익의 단기 대체지표 기반 정책보다 유의미하게 뛰어난 성능을 보였으며, 단순한 대체지표보다 정확한 보정의 가치를 입증했다.
• 3년 간의 구현 결과, 무작위 탐색을 통한 최적화된 정책은 보스턴 글로브의 기존 정책 대비 순수 수익 증대 효과를 $400만–500만 달러 달성했다.
• 평균 치료 효과 추정에 비해 약간 더 유연한 조건에서도 정책 최적화에 대한 방법의 타당성이 유지되어, 더 넓은 적용 가능성을 지닌다.
• 단기 수익과 콘텐츠 소비와 같은 사기적 지표가 장기 유저 유지를 포함한 장기 수익에 효과적인 예측 변수로 기능하는 것으로 밝혀져, 향후 유사 응용 분야에서의 활용을 뒷받침한다.
• 장기 결과를 기다리지 않고도 실시간 정책 학습이 가능해져, 변화가 빠른 환경에서 반복적 개선과 적응이 가능하다.