[论文解读] Transfer learning approach for financial applications

Cosmin Stamate, George D. Magoulas+1 more|arXiv (Cornell University)|Sep 9, 2015

Domain Adaptation and Few-Shot Learning参考文献 15被引用 9

一句话总结

本文提出了一种新颖的迁移学习框架，将选择性育种技术与行为遗传学启发的遗传算法相结合，以提升人工神经网络在多样化金融数据集上的性能。通过利用进化选择与交配策略复用先前训练模型的知识，该方法在分类准确率方面实现了显著提升，并减少了训练时间，在信用评分和货币认证等任务中展现出稳健的正向迁移效果。

ABSTRACT

Artificial neural networks learn how to solve new problems through a computationally intense and time consuming process. One way to reduce the amount of time required is to inject preexisting knowledge into the network. To make use of past knowledge, we can take advantage of techniques that transfer the knowledge learned from one task, and reuse it on another (sometimes unrelated) task. In this paper we propose a novel selective breeding technique that extends the transfer learning with behavioural genetics approach proposed by Kohli, Magoulas and Thomas (2013), and evaluate its performance on financial data. Numerical evidence demonstrates the credibility of the new approach. We provide insights on the operation of transfer learning and highlight the benefits of using behavioural principles and selective breeding when tackling a set of diverse financial applications problems.

研究动机与目标

• 为解决在每个新金融任务中从零开始训练人工神经网络的低效问题，通过利用已有知识来提升效率。
• 通过引入受行为遗传学启发的选择性育种技术，降低迁移学习中的负迁移风险。
• 通过异构数据集之间的知识迁移，提升金融分类任务（如信用评分和货币认证）的速度与准确率。
• 评估进化选择与交配策略是否能增强金融应用中的迁移学习性能。
• 证明混合遗传算法-人工神经网络框架可在多个金融数据集上实现一致且高精度的结果，且不会出现性能的急剧下降。

提出的方法

• 该框架将人工神经网络（ANN）群体作为遗传算法中的个体，其中每个个体代表一个已训练的模型。
• 通过从一个任务（源任务）中选择表现最佳的ANN作为父母，用于下一代任务（目标任务）的训练，模拟动物与人类遗传学中的选择性育种。
• 通过选择、交叉和突变等进化操作，迭代优化群体，使其在目标金融任务上逐步提升性能。
• 通过在每个训练集上应用数据过滤器来模拟环境变化，以反映现实世界中的数据多样性并评估模型的鲁棒性。
• 采用表示性迁移学习，即在不同时刻学习的源任务知识被迁移到目标任务中。
• 使用标准指标评估性能：在验证集和测试集上计算精确率、召回率、F1分数和均方误差。

实验结果

研究问题

• RQ1 在受行为遗传学启发的遗传算法框架中，选择性育种技术是否能提升金融数据集上的迁移学习性能？
• RQ2 从一个源金融任务（如澳大利亚信用）中迁移知识，能在多大程度上提升目标任务（如德国信用或钞票认证）的性能？
• RQ3 与标准迁移学习方法相比，所提出的方法是否在异构金融应用中降低了负迁移风险？
• RQ4 所提出的迁移学习框架在多个金融分类任务中与随机初始化的神经网络相比，性能如何？
• RQ5 该框架是否能在不同金融数据集上保持一致的性能，而不会出现错误率或误分类率的显著波动？

主要发现

• 在测试阶段，该框架在钞票数据集上实现了1.877的均方误差，显著低于随机初始化网络的3.01误差。
• 在德国信用数据集上，该框架在测试集上实现了0.782的精确率和0.885的召回率，优于基线的随机初始化方法。
• 澳大利亚信用任务的测试精确率为0.838，召回率为0.879，表明其在多样化金融数据上具有强大的泛化能力。
• 该框架在任务间表现出性能的连续性，未出现假阳性和假阴性数量的突然增加，表明知识迁移稳定可靠。
• 所有任务的验证误差均保持在较低水平——澳大利亚任务为28.155，德国任务为33.3，钞票任务为2.22，表明模型具有强稳定性。
• 在所有评估指标上，该方法均优于随机初始化网络，其中在钞票认证任务中改进最为显著，误差降低了25%以上。