[論文レビュー] Churn Prediction with Sequential Data and Deep Neural Networks. A Comparative Analysis

C. Gary Mena, Arno De Caigny+3 more|arXiv (Cornell University)|Sep 24, 2019

Customer churn and segmentation参考文献 16被引用数 22

ひとこと要約

この論文では、金融サービス分野における顧客離脱予測のため、順序付きのRecency, Frequency, and Monetary (RFM) データをモデル化するために長短期記憶（LSTM）ネットワークを提案している。結果として、LSTMは静的特徴を用いた正則化ロジスティック回帰を上回り、トップデイリー・リフトが4.211に達し、LSTMで予測された確率をロジスティックモデルの特徴として用いることで、出外サンプル性能が25%向上した。

ABSTRACT

Off-the-shelf machine learning algorithms for prediction such as regularized logistic regression cannot exploit the information of time-varying features without previously using an aggregation procedure of such sequential data. However, recurrent neural networks provide an alternative approach by which time-varying features can be readily used for modeling. This paper assesses the performance of neural networks for churn modeling using recency, frequency, and monetary value data from a financial services provider. Results show that RFM variables in combination with LSTM neural networks have larger top-decile lift and expected maximum profit metrics than regularized logistic regression models with commonly-used demographic variables. Moreover, we show that using the fitted probabilities from the LSTM as feature in the logistic regression increases the out-of-sample performance of the latter by 25 percent compared to a model with only static features.

研究の動機と目的

• 金融サービス分野における離脱予測のため、順序付きRFMデータを用いたLSTMニューラルネットワークの予測性能を評価すること。
• 静的特徴に依存する従来のオフザシェル機械学習モデルと、LSTMベースのモデルを比較すること。
• LSTMでフィッティングされた確率が、従来のモデルで使用可能な順序付きRFMデータを効果的に要約できるかを調査すること。
• 時間的に変化する特徴の異なる集約手法がモデル性能に与える影響を評価すること。
• 順序付き行動データを離脱予測フレームワークに最適に統合する戦略を特定すること。

提案手法

• 集約を行わず、直接的に順序付きRFM変数をモデル化するために、長短期記憶（LSTM）再帰的ニューラルネットワークを採用した。
• 静的顧客の属性、行動、連絡先変数を用いたl1正則化ロジスティック回帰をベースラインモデルとして使用した。
• LSTMモデルから出力された予測確率を出外サンプルで得て、それをロジスティック回帰の追加特徴として使用した。
• 妥当性を確保するため、3つの外側フォールドを用いた交差検証でモデル性能を評価した。
• 集約、正規化、ラグ値を含む、RFMデータの複数の特徴工学戦略を比較した。
• 標準的な評価指標（AUC、トップデイリー・リフト、期待最大利益測定指標（EMPC））を用いてモデル比較を行った。

実験結果

リサーチクエスチョン

• RQ1 生の順序付きRFMデータを用いたLSTMモデルの予測性能は、静的特徴を用いた正則化ロジスティック回帰と比べてどうか？
• RQ2 LSTMモデルでフィッティングされた確率は、従来の機械学習モデルで使用する目的で、順序付きRFM情報を効果的に要約できるか？
• RQ3 ロジスティック回帰にLSTMで得た確率を組み込むことで、集約されたRFM特徴を用いたモデルと比較して、出外サンプル性能が向上するか？
• RQ4 静的特徴と順序付きデータ表現のどの組み合わせが、最高のトップデイリー・リフトとEMPCを達成するか？
• RQ5 従来の集約手法と比較して、順序付き行動を深層学習でモデル化することで、顕著な性能向上が得られるか？

主な発見

• LSTMモデルはトップデイリー・リフト4.211を達成し、静的特徴のみを用いたロジスティック回帰モデル（リフト3.350）を著しく上回った。
• ロジスティック回帰モデルにLSTMで得た確率を特徴として組み込むことで、静的特徴のみのモデルと比較して、出外サンプル性能が25.7%向上した。
• LSTM確率を組み込んだロジスティックモデルは、期待最大利益測定指標（EMPC）0.012を達成し、静的特徴のみのベースラインモデルの3倍に上回った。
• LSTM確率を組み込んだロジスティックモデルに、集約または正規化されたラグRFM特徴を追加しても、性能向上は見られず、LSTM確率が順序付き情報を効果的に要約していることを示した。
• LSTMモデル自体はAUC 0.741およびトップデイリー・リフト4.101を達成しており、すべての指標で最良の性能を示したわけではないものの、強力な性能を示した。
• 交差検証のフォールドからのリフト曲線は、LSTMモデルおよびLSTM確率を組み込んだロジスティックモデルが、他の構成と比較してトップデイリーで一貫して優れた性能を示していることを確認した。