[論文レビュー] Customers Churn Prediction in Financial Institution Using Artificial Neural Network

Kamorudeen A. Amuda, Adesesan B. Adeyemo|arXiv (Cornell University)|Dec 23, 2019

Customer churn and segmentation被引用数 13

ひとこと要約

本研究では、手動による特徴量エンジニアリングを排除して、ナイジェリアの金融機関における顧客離脱予測を目的としたマルチレイヤーパーセプトロン（MLP）の人工ニューラルネットワークを提案する。Pythonを用いて50,000件の顧客レコードで訓練したモデルは、ドロップアウトとL2正則化を適用し、97.53％の精度とAUC 0.89を達成し、従来の機械学習モデルを上回り、商業ソフトウェアの結果と同等の性能を示した。

ABSTRACT

In this study, a predictive model using Multi-layer Perceptron of Artificial Neural Network architecture was developed to predict customer churn in a financial institution. Previous researches have used supervised machine learning classifiers such as Logistic Regression, Decision Tree, Support Vector Machine, K-Nearest Neighbors, and Random Forest. These classifiers require human effort to perform feature engineering which leads to over-specified and incomplete feature selection. Therefore, this research developed a model to eliminate manual feature engineering in data preprocessing stage. Fifty thousand customers? data were extracted from the database of one of the leading financial institution in Nigeria for the study. The multi-layer perceptron model was built with python programming language and used two overfitting techniques (Dropout and L2 regularization). The implementation done in python was compared with another model in Neuro solution infinity software. The results showed that the Artificial Neural Network software development (Python) had comparable performance with that obtained from the Neuro Solution Infinity software. The accuracy rates are 97.53% and 97.4% while ROC (Receiver Operating Characteristic) curve graphs are 0.89 and 0.85 respectively.

研究の動機と目的

• 金融機関における手動による特徴量エンジニアリングを最小限に抑えた自動化された顧客離脱予測モデルの開発を目的とする。
• 従来の教師あり機械学習分類器と比較して、マルチレイヤーパーセプトロン（MLP）ニューラルネットワークの性能を評価することを目的とする。
• 同じデータセットと評価基準を用いて、Pythonで実装されたANNと商業用NeuroSolutions Infinityソフトウェアの実装との有効性を比較することを目的とする。
• 過学習抑制技術（ドロップアウトとL2正則化）がモデルの汎化性能に与える影響を評価することを目的とする。
• 高精度を実現する実世界の金融データセットにおける深層学習の離脱予測への実現可能性を示すこと

提案手法

• PythonのKerasおよびTensorFlowライブラリを用いて、マルチレイヤーパーセプトロン（MLP）ニューラルネットワークアーキテクチャを実装した。
• 過学習抑制のための2つの技術を採用した：ドロップアウト（ニューロンのドロップアウト率）とL2正則化（重み減衰）。
• データセットはナイジェリアの金融機関の50,000件の顧客レコードから構成され、手動による特徴量エンジニアリングなしに前処理された。
• モデルの訓練には、カテゴリカル交差エントロピー損失関数とソフトマックス出力層を用いた確率的勾配降下法を採用した。
• 性能評価には、正解率、ROC-AUC、混同行列の指標を用いた。
• 同じデータセットと評価基準を用いて、モデルはNeuroSolutions Infinityソフトウェアの実装と比較された。

実験結果

リサーチクエスチョン

• RQ1 手動による特徴量エンジニアリングなしに、人工ニューラルネットワークモデルが従来の教師あり学習モデルを上回る離脱予測精度を達成できるか？
• RQ2 ドロップアウトとL2正則化は、顧客離脱予測タスクにおける過学習防止にどの程度効果的か？
• RQ3 Pythonベースのディープラーニング実装は、商業ソフトウェア（NeuroSolutions Infinity）の実装を上回るか、同等の離脱予測性能を示せるか？
• RQ4 MLPにおける自動特徴量学習は、金融顧客データにおける分野特有の特徴量エンジニアリングの必要性をどの程度低減できるか？
• RQ5 実世界の金融離脱予測シナリオにおいて、モデルの複雑さと汎化性能の最適なバランスは何か？

主な発見

• PythonベースのMLPモデルは、テスト精度97.53％を達成し、金融顧客離脱データセットにおける高い予測性能を示した。
• モデルのROC-AUCスコアは0.89であり、離脱済み顧客と非離脱顧客を区別する能力が優れていることを示した。
• NeuroSolutions Infinityの実装は97.4％の精度とAUC 0.85を達成し、Pythonベースのモデルと同等の性能を示した。
• ドロップアウトとL2正則化の適用により、過学習が顕著に低減され、未知のデータに対するモデルの汎化性能が向上した。
• 本研究では、深層ニューラルネットワークにおける自動特徴量学習が、離脱予測タスクにおける手動による特徴量エンジニアリングを効果的に代替できることを確認した。
• 結果から、MLPのようなディープラーニングモデルは、金融分野の離脱予測において、従来の機械学習分類器の代替として実用的かつ効果的であることが示唆された。