[论文解读] Integrating Random Effects in Deep Neural Networks

Giora Simchoni, Saharon Rosset|arXiv (Cornell University)|Jun 7, 2022

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

本文提出 LMMNN，一种将线性混合模型（LMMs）中的随机效应整合到深度神经网络（DNN）框架中的方法，用于处理回归任务中的相关数据。通过使用随机梯度下降（SGD）最小化高斯负对数似然（NLL），LMMNN 在表格数据及具有时空相关性的数据集上，相比标准 DNN 和基线方法，显著提升了预测性能。

ABSTRACT

Modern approaches to supervised learning like deep neural networks (DNNs) typically implicitly assume that observed responses are statistically independent. In contrast, correlated data are prevalent in real-life large-scale applications, with typical sources of correlation including spatial, temporal and clustering structures. These correlations are either ignored by DNNs, or ad-hoc solutions are developed for specific use cases. We propose to use the mixed models framework to handle correlated data in DNNs. By treating the effects underlying the correlation structure as random effects, mixed models are able to avoid overfitted parameter estimates and ultimately yield better predictive performance. The key to combining mixed models and DNNs is using the Gaussian negative log-likelihood (NLL) as a natural loss function that is minimized with DNN machinery including stochastic gradient descent (SGD). Since NLL does not decompose like standard DNN loss functions, the use of SGD with NLL presents some theoretical and implementation challenges, which we address. Our approach which we call LMMNN is demonstrated to improve performance over natural competitors in various correlation scenarios on diverse simulated and real datasets. Our focus is on a regression setting and tabular datasets, but we also show some results for classification. Our code is available at https://github.com/gsimchoni/lmmnn.

研究动机与目标

• 解决深度神经网络（DNNs）在处理空间、时间或聚类结构等相关数据时的局限性。
• 将线性混合模型（LMMs）中的随机效应整合到 DNN 中，以减少过拟合并提高预测准确性。
• 基于随机梯度下降（SGD）与负对数似然（NLL）损失，开发一种理论基础坚实的训练流程。
• 在具有复杂相关结构的真实世界和模拟数据集上，验证该方法的有效性。
• 将先前关于 LMMNN 的工作扩展至处理比高基数分类特征更复杂的混合效应场景。

提出的方法

• 构建一个同时学习固定效应与随机效应的深度神经网络，其中随机效应被建模为均值为零的高斯分布潜变量。
• 采用高斯负对数似然（NLL）作为损失函数，其天然地整合了由随机效应引起的协方差结构。
• 应用随机梯度下降（SGD）以优化 NLL，其收敛性基于 Chen 等人（2020）的理论依据。
• 通过方差分量参数化随机效应的协方差矩阵，使模型能够学习不同聚类间的相关程度。
• 通过将每个类别视为具有共享方差的随机效应来处理高基数分类特征，避免因独热编码导致的过拟合。
• 在兼容标准 DNN 架构的灵活框架中实现该方法，支持端到端训练。

实验结果

研究问题

• RQ1 将随机效应整合到深度神经网络中，是否能相比标准 DNN 显著提升在相关表格数据上的预测性能？
• RQ2 LMMNN 在具有复杂相关结构（如空间邻近性或纵向重复测量）的数据集上的表现如何？
• RQ3 在包含随机效应的深度学习设置中，最小化 NLL 时 SGD 的收敛理论条件是什么？
• RQ4 在高基数分类特征上，LMMNN 是否优于传统基线方法（如 lme4、独热编码和嵌入层）？
• RQ5 LMMNN 是否能泛化到具有多样化相关模式（包括空间、时间及多层聚类）的真实世界数据集？

主要发现

• 在空间数据集（如 Airbnb 和 Cars）上，LMMNN 显著提升了预测性能，相比标准 DNN 和 lme4，均方误差明显降低。
• 在 Airbnb 数据集上，LMMNN 达到 8.9 分钟的测试损失（35 个周期），优于次佳方法（Cars 为 5.5 分钟），展现出强大的泛化能力。
• 在纵向数据（如 UKB-SBP）上，LMMNN 以更少的参数有效建模了时间相关性，性能优于基于 LSTM 的模型。
• 在高基数分类特征上，LMMNN 相比独热编码减少了过拟合，并在泛化性能上优于基于嵌入的模型。
• 在使用 NLL 损失时，LMMNN 在 SGD 下表现出稳健的收敛性，其理论基础来自 Chen 等人（2020）关于在温和正则条件下收敛性的研究。
• 在空间数据集（如 Radiation 和 AirQuality）上，LMMNN 的测试误差低于竞争对手，分别达到 5.1 和 1.5 的均方误差，展现出在稀疏空间数据上的优异表现。