[论文解读] Conditional Density Estimation with Neural Networks: Best Practices and Benchmarks

Jonas Rothfuss, Fábio Ferreira+2 more|arXiv (Cornell University)|Mar 3, 2019

Stock Market Forecasting Methods参考文献 22被引用 6

一句话总结

本文提出了一种噪声正则化与数据归一化方案，以改进基于神经网络的条件密度估计（CDE），在金融应用中提升了泛化能力与鲁棒性。通过在训练过程中注入噪声来平滑密度估计，并对输入特征进行归一化，该方法在模拟数据和欧元斯托克50指数数据上显著优于传统的半参数与非参数CDE方法，尤其在估计高阶矩和尾部分布行为方面表现优异。

ABSTRACT

Given a set of empirical observations, conditional density estimation aims to capture the statistical relationship between a conditional variable $\mathbf{x}$ and a dependent variable $\mathbf{y}$ by modeling their conditional probability $p(\mathbf{y}|\mathbf{x})$. The paper develops best practices for conditional density estimation for finance applications with neural networks, grounded on mathematical insights and empirical evaluations. In particular, we introduce a noise regularization and data normalization scheme, alleviating problems with over-fitting, initialization and hyper-parameter sensitivity of such estimators. We compare our proposed methodology with popular semi- and non-parametric density estimators, underpin its effectiveness in various benchmarks on simulated and Euro Stoxx 50 data and show its superior performance. Our methodology allows to obtain high-quality estimators for statistical expectations of higher moments, quantiles and non-linear return transformations, with very little assumptions about the return dynamic.

研究动机与目标

• 解决基于神经网络的条件密度估计在金融应用中面临的过拟合、初始化敏感性与超参数不稳定性问题。
• 构建一个鲁棒的框架，用于在对收益动态的参数假设极少的前提下估计条件密度。
• 提升泛化能力，尤其是在核方法常失效的尾部分布与高维设置下。
• 在真实金融数据与模拟数据上，将基于神经网络的CDE与成熟的半参数与非参数方法进行基准对比。
• 实现从条件密度模型中准确估计高阶矩（均值、方差、偏度、峰度）

提出的方法

• 通过在训练数据中添加小的随机扰动引入噪声正则化，数学上可惩罚对数概率的高阶二阶导数，从而促进更平滑的密度估计。
• 推导表明，噪声正则化等价于对条件对数密度的二阶导数施加Tikhonov正则化，从而提升泛化能力。
• 提出一种数据归一化方案，在训练前对输入特征进行缩放，并在训练后将密度估计转换回原始分布。
• 将该方法应用于混合密度网络（MDNs）与核混合网络（KMN），二者均使用神经网络来参数化高斯混合模型（GMMs）。
• 使用数值积分（高斯求积）或蒙特卡洛采样（100,000个样本）从估计的GMM密度中计算条件矩。
• 对多变量目标采用蒙特卡洛积分，对单变量情形采用高斯求积，以从条件密度中估计均值、方差、偏度与峰度。

实验结果

研究问题

• RQ1 噪声正则化是否能显著提升基于神经网络的条件密度估计器在金融领域的样本外性能？
• RQ2 数据归一化在多大程度上影响CDE模型对输入尺度与初始化的稳定性与性能？
• RQ3 在真实金融数据上，结合所提正则化与归一化方法的MDN与KMN模型是否优于标准的半参数与非参数CDE方法？
• RQ4 基于神经网络的CDE在无需强参数假设的前提下，能在多大程度上准确估计偏度与峰度等高阶矩？
• RQ5 该方法在小样本量下是否具有鲁棒性，特别是在高维或稀疏数据情形中？

主要发现

• 噪声正则化通过惩罚高曲率区域，使条件密度估计更平滑、更具泛化能力，降低过拟合并提升样本外性能。
• 数据归一化方案降低了对输入尺度的敏感性，提升了不同特征范围下的训练一致性与性能。
• 在引入噪声正则化后，MDN与KMN模型在模拟数据与欧元斯托克50收益率数据上均优于既有的条件核密度估计器。
• 所提方法即使在数据有限且收益动态复杂的情况下，也能实现对条件高阶矩（均值、方差、偏度、峰度）的准确估计。
• 该框架可实现对非线性收益变换与分位数的可靠估计，而无需对条件分布假设特定参数族。
• 实证结果表明，结合所提技术的基于神经网络的CDE在捕捉尾部分布行为与时变风险特征方面，优于或等同于传统方法。