[论文解读] Learning Transactions Representations for Information Management in Banks: Mastering Local, Global, and External Knowledge

Alexandra Bazarova, Maria Kovaleva+8 more|arXiv (Cornell University)|Apr 2, 2024

Business Strategy and Innovation被引用 4

一句话总结

本文提出了一种统一的表示学习框架，用于金融交易数据，能够联合捕捉客户行为的局部、全局和动态特性，并整合来自聚合客户表示的外部上下文。该框架引入了新颖的生成模型和一个基准，用于评估在局部（例如，下一次MCC预测）、全局（完整历史记录）和动态（随时间演变）维度上的表示，相较于对比基线模型，AUC-ROC最高提升14%，在引入外部上下文后性能进一步提升20%。

ABSTRACT

In today's world, banks use artificial intelligence to optimize diverse business processes, aiming to improve customer experience. Most of the customer-related tasks can be categorized into two groups: 1) local ones, which focus on a client's current state, such as transaction forecasting, and 2) global ones, which consider the general customer behaviour, e.g., predicting successful loan repayment. Unfortunately, maintaining separate models for each task is costly. Therefore, to better facilitate information management, we compared eight state-of-the-art unsupervised methods on 11 tasks in search for a one-size-fits-all solution. Contrastive self-supervised learning methods were demonstrated to excel at global problems, while generative techniques were superior at local tasks. We also introduced a novel approach, which enriches the client's representation by incorporating external information gathered from other clients. Our method outperforms classical models, boosting accuracy by up to 20\%.

研究动机与目标

• 解决现有方法仅关注局部或全局表示，而无法同时兼顾两者的问题。
• 开发一种统一的表示学习框架，以捕捉随时间演变的时序动态和客户行为变化。
• 在不依赖专家定义指标的前提下，将外部上下文（如聚合客户行为或宏观经济趋势）整合到个体客户表示中。
• 设计一个全面的基准，用于评估金融交易数据中表示在局部、全局和动态属性方面的表现。
• 通过提升表示质量，改善下游任务（如下一事件预测和异常检测）的性能。

提出的方法

• 该框架采用混合方法，结合生成模型（如自编码器、Transformer和时间点过程）与对比学习，从交易序列中学习通用嵌入。
• 采用双损失训练策略：重建损失用于生成建模，对比损失用于保持序列之间的结构相似性。
• 通过注意力机制将整个训练集中所有客户的表示聚合后形成的全局信号注入到单个客户编码器中，以建模外部上下文。
• 使用时间编码和归一化的时间间隔（以天为单位）来处理时间间隔不规则的交易事件，避免原始时间戳导致的数值溢出。
• 采用专门的验证协议，通过滑动窗口在序列上评估局部表示，使用AUC-ROC等指标评估下一事件预测性能。
• 模型通过仔细的超参数调优进行训练，包括对罕见MCC编码的序列长度截断，以及在引入外部上下文时因内存限制而减少批量大小。

实验结果

研究问题

• RQ1 单一表示学习框架能否有效捕捉金融交易序列的局部（当前状态）和全局（完整历史）特性？
• RQ2 通过聚合客户表示获得的外部上下文集成，能在多大程度上提升个体客户嵌入的质量？
• RQ3 在局部下游任务（如下一MCC预测）中，生成模型相较于对比基线模型的性能优势有多大？
• RQ4 如何在交易数据中对表示的时序动态进行有意义的评估与基准测试？
• RQ5 数据特定特征（如不规则时间间隔、混合的分类与连续特征）对表示学习性能有何影响？

主要发现

• 所提出的生成框架在下一MCC预测任务中，相较于最先进对比基线模型，AUC-ROC最高提升14%。
• 在下游任务中引入外部上下文后，性能进一步提升20%，证明了全局行为信号的价值。
• 该模型的局部表示在捕捉客户即时行为方面显著优于现有方法，这对欺诈检测和突变点检测至关重要。
• 基准框架成功实现了对表示在局部、全局和动态维度上的评估，提供了对表示质量的全面评估。
• 使用客户表示的随机子集进行外部上下文建模，即使在高内存需求下也能实现可扩展性。
• 该框架在多种数据集（包括公开数据集Churn、Age、Default、HSBC及私有工业数据）上均表现出良好的泛化能力，对领域偏移具有鲁棒性。