[論文レビュー] Reinforcement Learning for Uplift Modeling

Chenchen Li, Xiang Yan+7 more|arXiv (Cornell University)|Nov 26, 2018

Advanced Causal Inference Techniques参考文献 20被引用数 6

ひとこと要約

本稿では、上昇効果モデリングをマルコフ決定過程（MDP）として定式化することで、明示的な上昇ラベルがなくてもエンドツーエンド学習が可能な深層強化学習フレームワーク、RLiftを提案する。複数の行動と応答タイプ（二値、離散、連続）を対象とする一般化された不偏評価指標（SN-UMG）を導入し、合成データ、オープンデータ、実世界データのすべてで最先端の性能を達成し、SMA-RF や OT-RF といったベースラインと比較して顕著な改善を示した。

ABSTRACT

Uplift modeling aims to directly model the incremental impact of a treatment on an individual response. In this work, we address the problem from a new angle and reformulate it as a Markov Decision Process (MDP). We conducted extensive experiments on both a synthetic dataset and real-world scenarios, and showed that our method can achieve significant improvement over previous methods.

研究の動機と目的

• 複数の行動と多様な応答タイプ（二値、離散、連続）を対象とする、一般化され不偏な上昇効果モデリングの評価指標の欠如に対処すること。
• 個々の上昇効果に対する明示的ラベルが欠落している課題を克服するため、上昇効果モデリングをマルコフ決定過程（MDP）として定式化すること。
• 教師付きラベルや手動による特徴工学に依存せずに、エンドツーエンドの表現学習とポリシー最適化を可能にすること。
• データが少なく、複雑な状況下でも性能を向上させること。特に、ラベルのスパarsityや分布シフトのため従来手法が失敗する状況において有効であることを目指す。
• 従来の手法、特にオフセットツリーのような文脈的バンディット手法と比較して、深層強化学習が上昇効果モデリングの文脈で優れていることを示すこと。

提案手法

• 上昇効果モデリングをマルコフ決定過程（MDP）として再定式化し、エージェントが期待上昇応答を最大化する行動ポリシーを学習する。
• オフラインデータから直接行動ポリシーを学習するためのニューラライズド・ポリシー勾配法を採用し、正例／負例の報酬のみで学習を誘導する。
• 逆プロパティスティックスコアに基づいて導出された、一般の応答タイプに対応可能な新規評価指標SN-UMGを導入。上昇応答の不偏推定器であることが証明された。
• 勾配の分散を低減するための行動依存ベースラインを適用し、ポリシー最適化中の訓練安定性と収束性を向上させる。
• 明示的な上昇ラベルが不要な、観測可能な行動応答と自然応答のみを用いることで、ラベルが限られた実世界の状況への適用を可能にする。
• 深層ニューラルネットワークを活用し、手動による特徴工学を回避して、生の特徴から複雑な非線形表現を自動で学習する。

実験結果

リサーチクエスチョン

• RQ1 複数の行動と任意の応答タイプを対象とする、一般化され不偏な評価指標を開発できるか？
• RQ2 個々の上昇効果に対する明示的ラベルがなくても、強化学習が上昇応答を効果的にモデル化できるか？
• RQ3 提案された深層RLフレームワーク（RLift）は、SMA-RF や SMA-NN といった教師付きベースラインと比較して、性能と頑健性に優れているか？
• RQ4 データスパarsityと複雑な応答特徴関係の下でも、本手法は強固な性能を維持するか？
• RQ5 文脈的バンディット手法（オフセットツリー）を上昇効果モデリングのポリシーとして再解釈した場合、RLiftはその性能を上回るか？

主な発見

• 合成データでは、RLiftはSN-UMGスコア0.1397を達成し、次に優れたベースライン（Optimal: 0.1467）を大きく上回り、ほぼ最適性能を示した。
• 陽性サンプルがスパースな実ビジネスデータでは、RLiftは応答$r_1$に対してSN-UMG 0.03024、$r_2$に対して0.00842を達成し、SMA-RF（0.00287および0.000252）とSMA-NN（0.00329および0.000793）を上回った。
• 重み付き応答組み合わせを用いた多目的実験では、(0.4, 0.6)の重み設定下でSN-UMGスコアが最大0.01871に達し、すべてのベースラインを上回った。
• 提案されたSN-UMG指標は、複数のフォールドにわたる合成実験において安定した収束性と低分散を示し、不偏推定器としての信頼性が裏付けられた。
• オフセットツリー（文脈的バンディットベースライン）を上昇効果ポリシーとして解釈した場合、RLiftが優れた性能を示した。これは、文脈的バンディットと上昇効果の目的の理論的差異を裏付けるものである。
• 応答分布と行動応答分布が著しく異なる高複雑度の状況でも、従来のSMA手法が失敗する中で、本手法は頑健性を示した。