[论文解读] A Neural Bayesian Estimator for Conditional Probability Densities

Michael Feindt|ArXiv.org|Feb 18, 2004

Machine Learning and Algorithms参考文献 24被引用 78

一句话总结

本文提出了一种神经贝叶斯估计器，通过在每个分位数阈值上训练二分类任务的前馈网络，从模拟或历史数据中学习条件概率密度 f(t|x)。通过应用 B-样条平滑和贝叶斯正则化，该方法能够生成稳健的、非参数化的完整概率分布估计，实现事件级不确定性量化，并在高能物理和金融等复杂、弱相关问题中实现最优统计推断。

ABSTRACT

This article describes a robust algorithm to estimate a conditional probability density f(t|x) as a non-parametric smooth regression function. It is based on a neural network and the Bayesian interpretation of the network output as a posteriori probabability. The network is trained using example events from history or simulation, which define the underlying probability density f(t,x). Once trained, the network is applied on new, unknown examples x, for which it can predict the probability distribution of the target variable t. Event-by-event knowledge of the smooth function f(t|x) can be very useful, e.g. in maximum likelihood fits or for forecasting tasks. No assumptions are necessary about the distribution, and non-Gaussian tails are accounted for automatically. Important quantities like median, mean value, left and right standard deviations, moments and expectation values of any function of t are readily derived from it. The algorithm can be considered as an event-by-event unfolding and leads to statistically optimal reconstruction. The largest benefit of the method lies in complicated problems, when the measurements x are only relatively weakly correlated to the output t. As to assure optimal generalisation features and to avoid overfitting, the networks are regularised by extended versions of weight decay. The regularisation parameters are determined during the online-learning of the network by relations obtained from Bayesian statistics. Some toy Monte Carlo tests and first real application examples from high-energy physics and econometry are discussed.

研究动机与目标

• 开发一种稳健的、非参数化的方法，用于估计条件概率密度 f(t|x)，而无需假设参数形式或高斯性。
• 解决高维输入空间中弱相关测量的挑战，传统回归方法无法捕捉完整不确定性。
• 通过估计给定输入 x 时目标变量 t 的完整分布，而非仅点估计，实现逐事件展开。
• 通过包含分布 f(t) 的先验知识，同时允许在测量精度提高时降低其权重。
• 提供一种统计上最优、可微的估计器，适用于最大似然拟合及下游任务（如期权定价）。

提出的方法

• 使用反向传播在目标变量 t 的离散分位数上训练前馈神经网络，其中每个输出节点解决一个二分类问题：t 是否超过某个阈值。
• 对网络输出应用对称的 sigmoid 传递函数，将其解释为 t 超过每个阈值的贝叶斯后验概率。
• 通过过滤后的输出拟合一个三次 B-样条，约束其在两端分别通过 -1 和 1，以重建累积分布函数 F(t|x)。
• 对样条的三阶导数应用 Tikhonov 类型正则化，以确保平滑性并防止过拟合。
• 使用贝叶斯统计在线确定并更新正则化参数，实现在训练过程中自动、数据驱动的泛化控制。
• 将平滑后的累积分布函数的导数作为概率密度函数 f(t|x)，并直接提取矩、分位数和中位数。

实验结果

研究问题

• RQ1 是否可以系统性地训练神经网络以在无参数假设下估计完整的条件概率密度 f(t|x)？
• RQ2 如何将贝叶斯原理整合到神经网络中，以生成连续结果的有效后验概率？
• RQ3 通过贝叶斯推理进行正则化是否能改善高维、弱相关回归问题中的泛化性能？
• RQ4 该方法在估计复杂物理或金融系统中的不确定性时，与传统回归或分类相比，能多大程度上表现更优？
• RQ5 该方法是否可在实际应用中可靠地用于粒子物理测量或金融期权定价？

主要发现

• 该方法成功估计了玩具蒙特卡洛模拟以及高能物理和金融领域实际应用中的完整条件概率密度 f(t|x)。
• 在高能物理中，该算法实现了对 B+ 和 B0 介子寿命的精确测量，并通过光谱学发现了 B_S^{**} 介子。
• 在金融应用中，基于 20 年道琼斯数据的训练显示，估计的 10 天表现与真实表现之间存在明显相关性，表明其具有不可忽视的预测能力。
• 对股票价格变动的估计条件密度实现了逐日对‘上涨’或‘下跌’趋势的量化，有助于提升交易决策的时机把握。
• 即使在输入不精确的情况下，该算法也通过避免训练范围外的物理上不合理的外推，表现出稳健性。
• 基于本工作开发的 NeuroBayes® 实现已在保险和银行应用中成功部署，证实了其在现实世界中的可行性。