[論文レビュー] A Practically Competitive and Provably Consistent Algorithm for Uplift Modeling

Yan Zhao, Fang Xiao+1 more|arXiv (Cornell University)|Sep 12, 2017

Advanced Causal Inference Techniques参考文献 13被引用数 5

ひとこと要約

本稿では、弱い正則性条件の下で理論的にも一貫性を持つ、木構造に基づくアンサンブル手法UCTSを提案する。ランダムサブサンプリング戦略と、治療別反応差に依存する新規スプリット基準を用いることで、UCTSは漸近的一致性を保証するとともに、合成データおよび実世界のデータにおいて優れた実験的性能を達成する。

ABSTRACT

Randomized experiments have been critical tools of decision making for decades. However, subjects can show significant heterogeneity in response to treatments in many important applications. Therefore it is not enough to simply know which treatment is optimal for the entire population. What we need is a model that correctly customize treatment assignment base on subject characteristics. The problem of constructing such models from randomized experiments data is known as Uplift Modeling in the literature. Many algorithms have been proposed for uplift modeling and some have generated promising results on various data sets. Yet little is known about the theoretical properties of these algorithms. In this paper, we propose a new tree-based ensemble algorithm for uplift modeling. Experiments show that our algorithm can achieve competitive results on both synthetic and industry-provided data. In addition, by properly tuning the "node size" parameter, our algorithm is proved to be consistent under mild regularity conditions. This is the first consistent algorithm for uplift modeling that we are aware of.

研究の動機と目的

• アップリフトモデリング分野において理論的根拠が乏しく、既存手法がしばしば一貫性の保証を欠いているという問題に対処すること。
• 個々の被験者に関する特徴に基づいて最適な治療を正確に同定できる、実用的ではあるが理論的にも妥当なアルゴリズムを開発すること。
• 弱い正則性条件の下で提案手法の一貫性を確立し、標本サイズが増加するにつれて真の最適治療に収束することを保証すること。
• 個別の治療を独立に扱うのではなく、木の構築段階で治療間の反応差を組み込むことで、Separate Model Approach (SMA) を超える改善を図ること。
• 特に多治療設定において、ヒューリスティックなアップリフト手法に対する理論的裏付けのある代替手法を提供すること。

提案手法

• アルゴリズムは、複数の意思決定木を成長させるためにランダムサブサンプリング戦略を用い、各木はデータおよび特徴のランダムサブセットで訓練される。
• 各ノードで、治療別期待応答の差を最大化するスプリットを選択し、実証的治療別平均に基づく基準を用いる。
• スプリットルールは、治療効果の不均一性が著しいサブポピュレーションを特定することを目的として設計されており、ターゲティングされた治療割り当てを可能にする。
• 最終的な予測は複数の木のアンサンブル平均であり、分散の低減と耐性の向上を実現する。
• 推定誤差と近似誤差の両方を濃縮不等式とリーフ直径の縮小を用いてバインドすることで、一貫性を証明する。
• 理論的分析により、ノードサイズパラメータを適切にチューニングすれば、標本サイズが増加するにつれてアルゴリズムが真の最適治療方針に確率的に収束することが示された。

実験結果

リサーチクエスチョン

• RQ1 アップリフトモデリングの木構造ベースのアンサンブル手法は、優れた実験的性能と理論的一致性の両方を達成可能か？
• RQ2 複数の治療に対して、治療効果の不均一性を効果的に捉えるスプリット基準を設計することは可能か？
• RQ3 データおよびアルゴリズムパラメータにどのような条件を課すと、推定された治療方針が真の最適方針に収束するか？
• RQ4 精度および理論的保証の観点から、本手法はSeparate Model Approach (SMA) よりも優れているか？
• RQ5 強いパラメトリック仮定を要さない弱い正則性条件の下でも、アルゴリズムの一貫性を証明することは可能か？

主な発見

• 提案されたUCTSアルゴリズムは、合成データおよび産業機関提供のデータセットにおいて、既存手法を上回る治療割り当て精度を達成し、競争力のある性能を示した。
• アルゴリズムは理論的に一貫性を持つ：標本サイズが増加するにつれて、弱い正則性条件の下で推定された最適治療が真の最適治療に確率的に収束する。
• 理論的分析により、ノードサイズパラメータを適切にチューニングすれば、標本サイズが増加するにつれて推定誤差および近似誤差がゼロに収束することが示された。
• 近似誤差はリーフ直径の縮小に伴い減少し、推定誤差は制御されたサブサンプリング条件下で濃縮不等式を用いてバインドされた。
• 複数のランダム化された木のアンサンブル平均化により、さらなる安定性の向上と分散の低減が達成され、汎化性能が向上した。
• 本稿は、理論的一致性保証を備えた最初のアップリフトモデリングアルゴリズムであり、分野における理論的理解の空白を埋めた。