[论文解读] deepregression: a Flexible Neural Network Framework for Semi-Structured Deep Distributional Regression

David Rügamer, Chris Kolb+12 more|arXiv (Cornell University)|Apr 6, 2021

Model Reduction and Neural Networks被引用 7

一句话总结

本文介绍了 deepregression，一个 R 包，实现了半结构化深度分布回归（SDDR），通过将加法预测器与深度神经网络相结合，实现了可扩展的、可解释的全条件分布建模。该框架采用模块化神经网络架构，利用正交化单元解决可识别性问题，并采用受 mgcv 启发的公式化接口，实现了最先进的预测性能，同时保持了统计可解释性。

ABSTRACT

In this paper we describe the implementation of semi-structured deep distributional regression, a flexible framework to learn conditional distributions based on the combination of additive regression models and deep networks. Our implementation encompasses (1) a modular neural network building system based on the deep learning library \pkg{TensorFlow} for the fusion of various statistical and deep learning approaches, (2) an orthogonalization cell to allow for an interpretable combination of different subnetworks, as well as (3) pre-processing steps necessary to set up such models. The software package allows to define models in a user-friendly manner via a formula interface that is inspired by classical statistical model frameworks such as \pkg{mgcv}. The packages' modular design and functionality provides a unique resource for both scalable estimation of complex statistical models and the combination of approaches from deep learning and statistics. This allows for state-of-the-art predictive performance while simultaneously retaining the indispensable interpretability of classical statistical models.

研究动机与目标

• 为解决经典均值回归在捕捉异方差性和复杂分布依赖关系方面的局限性。
• 开发一个可扩展的框架，将深度学习的预测能力与加法模型的可解释性相结合。
• 通过参数化、半参数化和非参数化方法，实现对全条件分布（而不仅仅是均值）的建模。
• 通过正交化单元解决混合加法模型与深度网络预测器中重叠特征引起的可识别性问题。
• 在 R 中提供一个用户友好的、基于公式的接口，支持灵活的模型定义，并实现统计模型与深度学习组件的集成。

提出的方法

• 该框架通过结合线性、平滑和深度神经网络组件，将分布参数（如位置、尺度、形状）建模为加法预测器。
• 每个加法预测器 ηₖ 定义为：ηₖ = xᵀw + Σⱼ fₖ,ⱼ(z) + Σₗ dₖ,ₗ(u)，其中 x 为线性特征，z 为平滑特征，u 为深度神经网络的输入。
• 采用正交化单元解耦子网络间重叠的特征，确保各模型组件的可识别性与可解释性。
• 该包使用 Keras/TensorFlow 作为后端，构建模块化、可组合的神经网络架构，支持共享或独立的权重。
• 集成预处理管道以处理数据转换、特征缩放和模型拟合，包括对惩罚样条和平滑基展开的支持。
• 通过从深度网络的倒数第二层提取潜在特征并使用 mgcv 重新拟合，实现最后一层推理，以量化非线性效应的不确定性。

实验结果

研究问题

• RQ1 是否可以以一种在保留可解释性的同时实现可扩展分布回归的方式，将深度神经网络整合到结构化加法模型中？
• RQ2 如何解耦线性、平滑和深度网络组件之间重叠的特征，以确保模型的可识别性？
• RQ3 与经典分布模型相比，所提出的框架在保持可解释性的同时，能在多大程度上提升预测性能？
• RQ4 当深度神经网络作为加法预测器的一部分时，非线性效应的不确定性是否可以可靠地量化？
• RQ5 基于公式的接口在实现复杂分布模型的灵活、可复现且用户友好的建模方面有多高效？

主要发现

• deepregression 包成功实现了半结构化深度分布回归，通过加法模型与深度网络的混合，实现了全条件分布建模。
• 正交化单元有效解决了子网络间重叠特征引起的可识别性问题，使得效应可解释地分解。
• 该框架支持广泛的参数化分布，并能够对连续、离散、混合及多变量响应进行建模。
• 通过在提取的潜在特征上使用 mgcv 重新拟合实现的最后一层推理，为非线性效应提供了有效的置信区间，尽管由于深度网络权重固定，可能存在方差低估的问题。
• 模块化设计与公式接口使得在单一 R 环境中能够快速原型设计并可复现地构建复杂统计与深度学习组合模型。
• 该方法在保持经典统计模型可解释性的同时，实现了最先进的预测性能，如在 Airbnb 定价和生存分析案例研究中所展示的。