[论文解读] Formulating A Strategic Plan Based On Statistical Analyses And Applications For Financial Companies Through A Real-World Use Case

Saman Sarraf|arXiv (Cornell University)|Jul 10, 2023

Big Data and Business IntelligenceBusiness, Management and Accounting被引用 3

一句话总结

本文提出了一项以数据为驱动的战略计划，针对P2P借贷平台LendingClub，通过统计分析与机器学习技术，提升贷款审批速度并降低违约风险。通过对200万条贷款记录的分析，研究发现更高的贷款金额会显著提高贷款核销率，因此建议采用基于云的大数据平台，结合先进的特征工程与机器学习模型，以提高预测准确性与运营效率。

ABSTRACT

Business statistics play a crucial role in implementing a data-driven strategic plan at the enterprise level to employ various analytics where the outcomes of such a plan enable an enterprise to enhance the decision-making process or to mitigate risks to the organization. In this work, a strategic plan informed by the statistical analysis is introduced for a financial company called LendingClub, where the plan is comprised of exploring the possibility of onboarding a big data platform along with advanced feature selection capacities. The main objectives of such a plan are to increase the company's revenue while reducing the risks of granting loans to borrowers who cannot return their loans. In this study, different hypotheses formulated to address the company's concerns are studied, where the results reveal that the amount of loans profoundly impacts the number of borrowers charging off their loans. Also, the proposed strategic plan includes onboarding advanced analytics such as machine learning technologies that allow the company to build better generalized data-driven predictive models.

研究动机与目标

• 制定一项以数据为驱动的战略计划，以提升LendingClub的贷款风险评估与决策速度。
• 通过统计假设检验，探究贷款金额与借款人核销率之间的关系。
• 评估实施可扩展的大数据分析平台以支持实时贷款审批与预测建模的可行性。
• 推荐改进的特征选择与数据采集策略，以提升模型性能，同时控制基础设施成本。

提出的方法

• 通过t检验与方差分析（ANOVA）以及相关性分析，评估贷款金额与核销标志之间的关系。
• 对包含145个属性与200多万条观测值的数据集进行数据预处理，包括数据清洗、缺失值处理与特征工程。
• 应用统计模型，包括线性回归与逻辑回归、聚类分析及相关性分析，以识别违约的关键预测因子。
• 设计基于AWS的云大数据架构，支持批处理与流处理，实现实时分析。
• 提出端到端的处理管道，包含模块化组件：数据摄取、预处理、统计/机器学习建模、结果存储及通过用户界面进行可视化。
• 集成自动化调度机制，用于定期重新训练机器学习模型，并基于每季度的统计分析优化特征选择。

Figure 1: Left: Distribution of borrowers Right: Distribution of loan amounts charged off

实验结果

研究问题

• RQ1 贷款金额与借款人核销可能性之间是否存在统计显著关系？
• RQ2 与较低金额的贷款相比，更高的贷款金额是否与更高的违约率相关？
• RQ3 先进的特征选择与大数据分析能否提升违约预测模型的准确性？
• RQ4 将LendingClub的分析管道迁移至基于云的大数据平台所需的技术与操作步骤是什么？
• RQ5 如何通过有针对性的数据采集提升模型性能，同时降低基础设施成本？

主要发现

• 更高的贷款金额与显著上升的核销率相关，表明贷款规模与违约风险之间存在强烈关联。
• 数据集包含32个无缺失值的特征，支持稳健的统计建模与预测分析。
• 假设检验确认了贷款金额与核销标志之间存在统计显著关系（p < 0.05），支持实施风险调整后的贷款标准。
• 所提出的基于云的大数据架构支持实时数据处理，并可扩展部署机器学习模型。
• 基于每季度统计分析的针对性特征选择，可在不损害模型性能的前提下减少数据量与基础设施负载。
• 自动化模型重新训练与增强特征工程的整合，预计可提升预测准确性，并支持30分钟内完成贷款审批。

Figure 2: Steps for migrating data pipeline to a cloud environment