[論文レビュー] Personalized Treatment Selection using Causal Heterogeneity

Ye Tu, Kinjal Basu+5 more|arXiv (Cornell University)|Jan 29, 2019

Advanced Bandit Algorithms Research参考文献 34被引用数 5

ひとこと要約

本論文は、A/Bテストからの因果的不均一性を用いた、2段階のフレームワークを提案する。まず、集団またはメンバー単位での不均一な治療効果を推定し、次に制約付き確率的最適化を用いて治療割り当てを最適化する。この手法は、グローバル割り当てやヒューリスティック手法を著しく上回り、LinkedInの実世界の通知上限実験において、メンバーのセッション数が1.39%増加し、通知送信数が1.64%増加した。

ABSTRACT

Randomized experimentation (also known as A/B testing or bucket testing) is widely used in the internet industry to measure the metric impact obtained by different treatment variants. A/B tests identify the treatment variant showing the best performance, which then becomes the chosen or selected treatment for the entire population. However, the effect of a given treatment can differ across experimental units and a personalized approach for treatment selection can greatly improve upon the usual global selection strategy. In this work, we develop a framework for personalization through (i) estimation of heterogeneous treatment effect at either a cohort or member-level, followed by (ii) selection of optimal treatment variants for cohorts (or members) obtained through (deterministic or stochastic) constrained optimization. We perform a two-fold evaluation of our proposed methods. First, a simulation analysis is conducted to study the effect of personalized treatment selection under carefully controlled settings. This simulation illustrates the differences between the proposed methods and the suitability of each with increasing uncertainty. We also demonstrate the effectiveness of the method through a real-life example related to serving notifications at Linkedin. The solution significantly outperformed both heuristic solutions and the global treatment selection baseline leading to a sizable win on top-line metrics like member visits.

研究の動機と目的

• A/Bテストにおけるグローバル治療割り当ての非最適性に取り組む。これは、均一な反応を示さないユーザーに対して単一の治療が適用されるためである。
• 無作為化実験から得られる因果的不均一性を活用し、集団またはメンバー単位でのパーソナライズド治療選択を可能にする手法を開発すること。
• 複数の制約（例：ガードレール指標）のもとで、確率的最適化手法を用いて治療割り当てを最適化すること。
• 不確実性下での手法のパフォーマンスを評価し、グローバル割り当ておよびヒューリスティックベースラインと比較すること。
• 制約の遵守を維持しながら、主要なビジネス指標の向上を実証すること。

提案手法

• A/Bテストデータに基づき、因果的フォレストやツリー・モデルを訓練し、真の推定を用いて信頼区間のカバー率を向上させることで、不均一な治療効果を推定する。
• 推定された治療効果の不均一性に基づいて、ユーザーを集団にグループ化し、より細分化されたパーソナライズドな対応を可能にする。
• 複数の期待値制約を含む制約付き最適化問題を解くために、CSAアルゴリズムに基づく確率的最適化フレームワーク（CT.ST）を適用する。
• サンプル平均近似と分散を考慮した推定を用いて、治療効果推定の不確実性を扱う。
• 2段階のパイプラインを実装する：(1) 因果的不均一性推定、(2) 治療選択のための制約付き最適化。
• パフォーマンスとリスクのバランスを取るために、決定論的および確率的治療割り当て戦略をサポートする。

実験結果

リサーチクエスチョン

• RQ1 因果的不均一性に基づくパーソナライズド治療選択は、実世界のA/Bテスト環境において、グローバル割り当てを著しく上回る性能を示せるか？
• RQ2 治療効果推定の不確実性が増加する状況下で、提案手法のパフォーマンスはどのように変化するか？
• RQ3 集団レベルのパーソナライズド対応が、セッション数や通知関与度といった主要ビジネス指標に与える影響は何か？
• RQ4 主な目的を最大化する一方で、否定的指標（例：無効化数）のガードレール指標を遵守する方法は何か？
• RQ5 低レイテンシおよびメモリオーバーヘッドで生産環境に効果的に導入可能か？

主な発見

• 提案手法は、メンバーのセッション数が1.39%相対的に増加し、グローバル割り当てベースラインおよびヒューリスティック手法を著しく上回った。
• 通知送信数は、パーソナライズドアプローチで1.64%増加したが、2つのヒューリスティックベースラインではそれぞれ6.62%および3.07%増加にとどまった。
• 本手法は制約遵守を維持しており、全無効化数は変化がなかったが、ヒューリスティック手法では最大9.23%の増加を示した。
• CT.ST最適化手法は不確実性下でも頑健であり、複数の指標においてヒューリスティックおよびグローバル割り当て戦略を上回った。
• LinkedInでは、同フレームワークを生産環境に導入し、毎日の通知上限のパーソナライズに活用した。トップライン指標で顕著な向上が得られた。
• 本手法により、異なる好みを示す少数派ユーザーグループに対しても異なる治療を適用できるようになり、より包括的な体験が可能になった。