[論文レビュー] Targeting for long-term outcomes

Jeremy J. Yang, Dean Eckles+2 more|arXiv (Cornell University)|Oct 29, 2020

Consumer Market Behavior and Pricing参考文献 42被引用数 5

ひとこと要約

本論文は、短期的な代理指標から長期的結果を推定するための代替指標補完手法を用いた二重に頑健なポリシー学習手法を提案する。この手法により、長期結果を待たずに最適なターゲティングが可能になる。ボストン・グローブにおける2つの大規模フィールド実験では、3年間で400万～500万ドルの正の収益インパクトを達成した。これは、真の長期結果に基づいて学習されたポリシーと同等の性能を示し、短期的代理指標に基づくものよりも優れた結果をもたらした。

ABSTRACT

Decision makers often want to target interventions so as to maximize an outcome that is observed only in the long-term. This typically requires delaying decisions until the outcome is observed or relying on simple short-term proxies for the long-term outcome. Here we build on the statistical surrogacy and policy learning literatures to impute the missing long-term outcomes and then approximate the optimal targeting policy on the imputed outcomes via a doubly-robust approach. We first show that conditions for the validity of average treatment effect estimation with imputed outcomes are also sufficient for valid policy evaluation and optimization; furthermore, these conditions can be somewhat relaxed for policy optimization. We apply our approach in two large-scale proactive churn management experiments at The Boston Globe by targeting optimal discounts to its digital subscribers with the aim of maximizing long-term revenue. Using the first experiment, we evaluate this approach empirically by comparing the policy learned using imputed outcomes with a policy learned on the ground-truth, long-term outcomes. The performance of these two policies is statistically indistinguishable, and we rule out large losses from relying on surrogates. Our approach also outperforms a policy learned on short-term proxies for the long-term outcome. In a second field experiment, we implement the optimal targeting policy with additional randomized exploration, which allows us to update the optimal policy for future subscribers. Over three years, our approach had a net-positive revenue impact in the range of $4-5 million compared to the status quo.

研究の動機と目的

• 主な結果が長期的にのみ観測可能であるため、ポリシー学習が遅延するという課題に対処すること。
• 統計的代替指標を用いて欠損している長期的結果を補完する手法を開発し、早期かつデータドリブンのポリシー最適化を可能にすること。
• 補完された長期的結果に基づいて学習されたポリシーが、真の長期的結果に基づいて学習されたものと同等に機能するかどうかを評価すること。
• ランダム化されたエクスプロレーションを用いて、被験者行動の非定常性を考慮しながら、リアルタイムで最適ポリシーを実装・更新すること。
• 特に主要なニュース出版元における予防的離脱管理という現実世界のサブスクリプション管理文脈において、本手法の有効性を示すこと。

提案手法

• 履歴データから観察可能な短期的代替指標を用いて、長期的結果の条件付き期待値をモデル化する代替指標推定器を用いて、長期的結果を補完する。
• 補完された長期的結果に基づくターゲティングポリシーを最適化するために、二重に頑健な推定フレームワークを適用し、モデルの誤指定に対しても頑健性を確保する。
• ブートストラップを用いたトマス・サブミッション・サンプリングを用いて、複数の実験波にわたる探索の維持と動的ポリシー更新を可能にする。
• 補完された長期的結果に基づくポリシーの性能を、真の長期的結果に基づくポリシーと短期的代理指標に基づくポリシーと比較することで、手法の妥当性を検証する。
• 2段階の実験デザインを採用する：まず、ポリシー性能を評価する制御されたフィールド実験を実施し、次にランダム化されたエクスプロレーションを用いたフォローアップ実験を実施して、継続的なポリシー再最適化を可能にする。
• 治療から長期的結果に至る因果的経路における位置づけに基づき、ドメイン知識を活用して関連する代替指標（例えば短期的収益やコンテンツ利用量）を選定する。

実験結果

リサーチクエスチョン

• RQ1 補完された長期的結果に基づいて最適化されたポリシーは、真の長期的結果に基づいて学習されたものと同等に機能するか？
• RQ2 代替指標による補完結果に基づくポリシーの性能は、短期的代理指標に基づくものと比べてどう異なるか？
• RQ3 代替指標補完に基づくポリシーは、ランダム化されたエクスプロレーションを用いて、非定常性に適応しながら効果的に時間経過とともに更新可能か？
• RQ4 代替指標補完が有効なポリシー最適化を実現する条件は何か。また、平均処置効果推定のための条件とはどのように異なるか？
• RQ5 代替指標ベースのポリシー学習は、真の長期的結果に基づいて学習されたポリシーと同等の収益インパクトを、現実世界のサブスクリプション管理においてどれほど再現できるか？

主な発見

• 最初の実験において、補完された長期的結果に基づいて最適化されたポリシーは、真の長期的結果に基づいて学習されたポリシーと統計的に区別できない性能を示し、性能の著しい低下は検出されなかった。
• 代替指標ベースのポリシーは、長期的収益の短期的代理指標に基づいて最適化されたポリシーを著しく上回り、正確な補完の価値が単純な代理指標よりも顕著であることを示した。
• 3年間にわたり、ランダム化されたエクスプロレーションを用いた最適化されたポリシーの実装は、ボストン・グローブの現状比で400万～500万ドルの正の収益インパクトをもたらした。
• 平均処置効果推定に要件される条件よりもやや厳しくない条件下でも、本手法のポリシー最適化としての有効性が保たれ、より広範な適用可能性を有する。
• 短期的収益やコンテンツ利用量といった代替指標が、長期的リテンションおよび収益の予測に有効であることが判明し、今後の同様の応用においての利用を支持する。
• 本手法により、長期的結果を待たずに迅速なポリシー学習が可能となり、動的な環境における反復的改善と適応が可能になった。