[论文解读] An Evidential Neural Network Model for Regression Based on Random Fuzzy Numbers

Thierry Denœux|arXiv (Cornell University)|Aug 1, 2022

Fuzzy Logic and Control Systems被引用 8

一句话总结

本文提出 ENNreg，一种用于回归的新型因果神经网络，通过高斯随机模糊数（GRFNs）建模预测不确定性，结合基于距离的证据与广义Dempster-like规则。该方法输出一个由点估计、方差和精度定义的GRFN，相较于现有因果与统计模型，在UCI数据集上实现了最先进的性能，具有更优的不确定性量化与准确性。

ABSTRACT

We introduce a distance-based neural network model for regression, in which prediction uncertainty is quantified by a belief function on the real line. The model interprets the distances of the input vector to prototypes as pieces of evidence represented by Gaussian random fuzzy numbers (GRFN's) and combined by the generalized product intersection rule, an operator that extends Dempster's rule to random fuzzy sets. The network output is a GRFN that can be summarized by three numbers characterizing the most plausible predicted value, variability around this value, and epistemic uncertainty. Experiments with real datasets demonstrate the very good performance of the method as compared to state-of-the-art evidential and statistical learning algorithms. \keywords{Evidence theory, Dempster-Shafer theory, belief functions, machine learning, random fuzzy sets.

研究动机与目标

• 为解决将Dempster-Shafer证据理论应用于回归时的挑战，其中识别框架为实数轴而非有限集合。
• 开发一种神经网络模型，利用随机模糊集量化回归预测中的随机性与认知性不确定性。
• 通过利用GRFNs与广义证据组合，将因果神经网络框架从分类扩展至回归。
• 在真实世界数据集上，评估模型性能与当前最先进的回归与因果学习方法的对比。
• 证明该模型可提供校准良好的预测区间，并具备具有竞争力的预测准确性。

提出的方法

• 该模型在输入空间中使用原型，并计算输入向量到每个原型的距离作为证据。
• 每个距离以高斯随机模糊数（GRFN）表示，其建模具有正态分布模态的可能性分布。
• 通过带硬归一化的广义乘积-交集规则组合来自多个原型的证据，将Dempster规则扩展至随机模糊集。
• 输出为一个由三个参数表征的GRFN：点预测 μ(x)，表示随机不确定性的方差 σ²(x)，以及表示认知不确定性的精度 h(x)。
• 模型通过基于预测GRFN与真实GRFN之间马氏距离的损失函数，采用端到端反向传播进行训练。
• 预测区间通过GRFN的逆累积分布函数推导得出，确保保守的频率覆盖性。

实验结果

研究问题

• RQ1 能否成功将因果神经网络框架从分类扩展至回归，使用随机模糊集？
• RQ2 高斯随机模糊数（GRFNs）是否能有效表示回归中的预测不确定性，包括随机性与认知性无知？
• RQ3 广义乘积-交集规则是否能在回归背景下提供稳定且有意义的多原型证据组合？
• RQ4 与当前最先进的回归模型相比，ENNreg在预测准确性与不确定性校准方面的表现如何？
• RQ5 GRFN输出能否生成具有适当频率覆盖性质的预测区间？

主要发现

• 在四个UCI数据集中的三个上，ENNreg实现了最低的均方误差（MSE），优于现有因果模型（ENN97与EVREG）及当前最先进的方法。
• 在Boston数据集上，ENNreg的MSE为8.72，显著低于ENN97（15.78）与EVREG（19.82）。
• 在Energy数据集上，ENNreg的MSE为0.342，优于RVM（0.721）、SVM（0.440）、GP（2.324）与RF（0.462）。
• 在Concrete数据集上，ENNreg的MSE为28.32，优于ENN97（62.0）与EVREG（71.4），仅次于随机森林（25.6）。
• 在Yacht数据集上，ENNreg的MSE为0.462，显著优于EVREG（42.045）与ENN97（6.662），且与RVM（2.771）和SVM（3.295）相当。
• 基于GRFN输出推导的预测区间表现出保守覆盖性，50%、90%与99%区间对应的观测覆盖概率分别为0.76、0.96与0.997。