[论文解读] Modelling heterogeneous distributions with an Uncountable Mixture of Asymmetric Laplacians

Axel Brando, José A. Rodríguez-Serrano+2 more|arXiv (Cornell University)|Oct 27, 2019

Neural Networks and Applications被引用 14

一句话总结

本文提出了一种名为不可数的非对称拉普拉斯混合模型（Uncountable Mixture of Asymmetric Laplacians, UMAL）的深度学习框架，通过神经网络隐式学习无限多个非对称拉普拉斯分布的混合，从而对异质性、偏斜性和多模态的输出分布进行建模。在涉及复杂分布的回归任务（如Airbnb定价和金融预测）中，该方法在校准性和似然性能方面均优于基线模型。

ABSTRACT

In regression tasks, aleatoric uncertainty is commonly addressed by considering a parametric distribution of the output variable, which is based on strong assumptions such as symmetry, unimodality or by supposing a restricted shape. These assumptions are too limited in scenarios where complex shapes, strong skews or multiple modes are present. In this paper, we propose a generic deep learning framework that learns an Uncountable Mixture of Asymmetric Laplacians (UMAL), which will allow us to estimate heterogeneous distributions of the output variable and shows its connections to quantile regression. Despite having a fixed number of parameters, the model can be interpreted as an infinite mixture of components, which yields a flexible approximation for heterogeneous distributions. Apart from synthetic cases, we apply this model to room price forecasting and to predict financial operations in personal bank accounts. We demonstrate that UMAL produces proper distributions, which allows us to extract richer insights and to sharpen decision-making.

研究动机与目标

• 解决传统回归模型对对称、单峰或参数化输出分布的假设局限性。
• 克服标准混合密度网络（MDNs）在建模复杂、异质分布时的不稳定性及固定组件数量的问题。
• 开发一种灵活的深度学习框架，无需强参数假设即可捕捉多模态、偏斜和异质的输出分布。
• 在输出分布因输入条件而显著变化的真实回归任务中，提升认知不确定性估计性能。
• 展示模型生成校准良好、结构丰富的预测分布的能力，适用于复杂领域中的决策制定。

提出的方法

• 使用深度神经网络预测无限多个非对称拉普拉斯分布（ALDs）的参数，从而有效建模连续且不可数的混合分布。
• 利用分位数回归与ALD分布之间的联系，将基于分位数的不确定性估计推广至混合框架。
• 通过在输出分布上进行最大似然估计进行训练，实现在不增加网络输出维度的前提下对复杂形状的灵活逼近。
• 在推理阶段应用蒙特卡洛采样，生成多样化的预测结果，有效模拟训练和推理过程中动态批量大小的行为。
• 通过最小化负对数似然并结合预测值与理想校准之间的平均绝对误差等指标，确保模型的校准性。
• 对预测分布嵌入使用t-SNE和DBSCAN聚类分析，以研究真实数据（如巴塞罗那的Airbnb价格）中的空间与分布模式。

实验结果

研究问题

• RQ1 深度学习模型是否能在不假设对称性或单峰性的前提下，有效逼近复杂且异质的输出分布？
• RQ2 所提出的UMAL框架在建模多模态和偏斜分布方面，与标准MDNs和分位数回归相比表现如何？
• RQ3 在具有复杂输出分布的真实回归任务中，UMAL在模型校准性和似然性能方面改善程度如何？
• RQ4 模型的预测分布是否能揭示金融和定价数据中的有意义空间或行为模式？
• RQ5 与有限组件的MDNs相比，ALD的隐式无限混合是否能提供更好的泛化能力和稳定性？

主要发现

• 在BCN RPF数据集上，UMAL在校准性方面实现了最低的平均绝对误差（0.04 ± 0.01），优于所有基线模型，包括10组件MDNs和独立分位数回归。
• 在YVC RPF数据集上，UMAL的校准误差位列第二（0.07 ± 0.01），显著优于10组件正态分布和拉普拉斯MDNs。
• 该模型生成了校准良好、合理的预测分布，能够捕捉真实数据中复杂的形状特征，如多模态性和偏斜性。
• UMAL的预测分布揭示了巴塞罗那Airbnb价格中的空间聚类模式，DBSCAN聚类识别出城市内不同的市场细分区域。
• 该框架在合成和真实世界任务中均表现出优越的似然适应能力，证实其有效建模异质分布的能力。
• 蒙特卡洛采样的使用实现了动态推理行为，有效模拟了可变批量大小，提升了训练和预测过程中的鲁棒性。