[論文レビュー] Autonomous CRM Control via CLV Approximation with Deep Reinforcement Learning in Discrete and Continuous Action Space

Yegor Tkachenko|arXiv (Cornell University)|Apr 8, 2015

Customer churn and segmentation参考文献 8被引用数 23

ひとこと要約

本論文では、修正版RFM-I（最近性、頻度、金銭的価値、マーケティングインタラクション）顧客状態表現を用いた深層強化学習フレームワークを提案し、離散的および連続的アクション空間の両方において、直接的マーケティング行動を自律的に最適化する。歴史的CRMデータ上で深層Qネットワーク（DQN）を訓練することで、顧客生涯価値（CLV）を推定し、長期的報酬を最大化する行動を提案する。KDD Cup 1998データセットにおいて、反応率と寄付額が50％以上向上した。

ABSTRACT

The paper outlines a framework for autonomous control of a CRM (customer relationship management) system. First, it explores how a modified version of the widely accepted Recency-Frequency-Monetary Value system of metrics can be used to define the state space of clients or donors. Second, it describes a procedure to determine the optimal direct marketing action in discrete and continuous action space for the given individual, based on his position in the state space. The procedure involves the use of model-free Q-learning to train a deep neural network that relates a client's position in the state space to rewards associated with possible marketing actions. The estimated value function over the client state space can be interpreted as customer lifetime value, and thus allows for a quick plug-in estimation of CLV for a given client. Experimental results are presented, based on KDD Cup 1998 mailing dataset of donation solicitations.

研究の動機と目的

• 強化学習を用いて、直接的マーケティング行動を最適化する自律的CRM制御システムの開発。
• 深層Q学習を拡張し、CRM文脈における離散的および連続的アクション空間を処理する。
• 修正版RFM-Iフレームワークを用いて、豊富でデータ駆動型の顧客状態表現を構築する。
• Q値関数の副産物として顧客生涯価値（CLV）を推定し、意思決定に役立てる。
• 実世界の直接的マーケティングデータ上でフレームワークを検証し、顕著な性能向上を示す。

提案手法

• 顧客状態は、取引およびマーケティングインタラクションの最近性、頻度、金銭的価値を組み合わせた修正版RFM-Iフレームワークを用いて表現する。
• 報酬の観測に基づき、顧客状態から最適な行動へのマッピングを学習するため、モデルフリーの深層Q学習（DQN）アルゴリズムを用いる。
• DQNアルゴリズムの訓練を安定化させ、データ相関を低減するために、経験再生とターゲットネットワークを採用する。
• 連続的アクション空間を処理するために、連続的出力ヘッドを用いて行動値を回帰する、DQNへの新規拡張を導入する。
• Q値関数の出力を、行動依存の残存顧客生涯価値（CLV）の推定値として解釈する。
• KDD Cup 1998寄付データセット上でシステムを訓練し、未観測データを用いた検証により性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 RFM-I顧客状態特徴のみを用いて、深層強化学習モデルが最適なマーケティング行動を効果的に学習できるか？
• RQ2 提案されたDQNモデルは、反応率および寄付額の観点で、未観測の顧客状態にどの程度一般化できるか？
• RQ3 訓練の安定性を損なわずに、CRM制御に連続的アクション空間を効果的に統合できるか？
• RQ4 この文脈において、Q値関数が顧客生涯価値（CLV）の信頼できる代理指標として機能する程度はどの程度か？
• RQ5 ランダム探索と自己収集経験に基づいて、事前の履歴記録がなくても、フレームワークが冷スタート状況で自律的に動作できるか？

主な発見

• KDD Cup 1998データセットにおいて、ベースライン戦略と比較して平均寄付額が50％以上向上した。
• 深層Qネットワークは、状態の各次元にわたる期待割引報酬面の明確なパターンから、長期的累積報酬を最大化する行動を学習したことが裏付けられた。
• DQNフレームワークへの連続的アクション空間の統合は実現可能であったが、収束の安定性は課題であり、さらなる研究が求められる。
• Q値関数の出力は、行動依存の残存顧客生涯価値（CLV）の信頼できる推定値として、実証的に検証された。
• ランダム探索による経験収集を通じて、事前の履歴記録がなくても、システムは自律学習能力を示した。
• RFM-I次元にわたる期待報酬の可視化から、顧客状態に応じた最適行動選択の明確なパターンが明らかになった。特に、高価値領域では行動4が他の行動を常に上回った。