[论文解读] A Distributed Method for Fitting Laplacian Regularized Stratified Models

Jonathan Tuck, Shane Barratt+1 more|arXiv (Cornell University)|Apr 26, 2019

Advanced Mathematical Modeling in Engineering参考文献 79被引用 10

一句话总结

本文提出了一种基于分布式ADMM的算法，用于拟合拉普拉斯正则化的分层模型，通过基于图的正则化方法在类别特征值之间鼓励参数的平滑变化，从而改进传统分层模型。该方法可实现凸或非凸损失函数的全局或局部优化，高效扩展至大规模数据集，并通过正则化实现参数借用，支持缺失类别的处理。

ABSTRACT

Stratified models are models that depend in an arbitrary way on a set of selected categorical features, and depend linearly on the other features. In a basic and traditional formulation a separate model is fit for each value of the categorical feature, using only the data that has the specific categorical value. To this formulation we add Laplacian regularization, which encourages the model parameters for neighboring categorical values to be similar. Laplacian regularization allows us to specify one or more weighted graphs on the stratification feature values. For example, stratifying over the days of the week, we can specify that the Sunday model parameter should be close to the Saturday and Monday model parameters. The regularization improves the performance of the model over the traditional stratified model, since the model for each value of the categorical `borrows strength' from its neighbors. In particular, it produces a model even for categorical values that did not appear in the training data set. We propose an efficient distributed method for fitting stratified models, based on the alternating direction method of multipliers (ADMM). When the fitting loss functions are convex, the stratified model fitting problem is convex, and our method computes the global minimizer of the loss plus regularization; in other cases it computes a local minimizer. The method is very efficient, and naturally scales to large data sets or numbers of stratified feature values. We illustrate our method with a variety of examples.

研究动机与目标

• 解决传统分层模型在某些类别值数据稀疏或缺失时失效的局限性。
• 通过引入拉普拉斯正则化，鼓励图结构分层中相邻类别值之间的参数平滑变化，从而提升模型泛化能力。
• 开发一种高效、可扩展且分布式的优化方法，用于拟合这些模型，尤其适用于大规模或高维数据。
• 通过利用相邻值的正则化信息，实现在训练数据中未出现的类别值的模型拟合。

提出的方法

• 该方法使用交替方向乘子法（ADMM）以分布式方式求解拉普拉斯正则化分层模型的优化问题。
• 将拟合问题表述为带损失函数和拉普拉斯正则化的凸优化问题，该正则化惩罚加权图中相邻节点间模型参数的差异。
• 通过在分层类别间分解问题，实现本地模型参数和对偶变量的并行计算。
• 对于非凸损失，该方法在ADMM更新中采用近似最小化，将其视为一种局部优化启发式方法。
• 通过使用随机坐标下降求解拉普拉斯系统，支持去中心化实现，其中每个节点仅与邻居通信。
• 该方法支持每类别的可变大小参数向量，并可通过正则化修改处理某些类别中不适用或缺失的特征。

实验结果

研究问题

• RQ1 拉普拉斯正则化是否能通过在相邻类别值之间实现参数借用，提升分层模型的性能？
• RQ2 如何设计一种分布式优化方法，使其能高效扩展至大规模数据集和大量分层类别？
• RQ3 图结构对模型泛化能力有何影响，特别是在无训练数据的类别中？
• RQ4 该方法在非凸损失函数下的表现如何？其在这些情况下的收敛特性是什么？
• RQ5 该方法能否以去中心化方式实现，仅依赖于相邻节点之间的本地通信？

主要发现

• 所提出的分布式ADMM方法在凸损失函数下可计算全局最小解，在非凸情况下可获得局部最小解，确保在多种模型类型下均具备稳健的优化性能。
• 拉普拉斯正则化使模型即使在训练数据中未出现的类别值上也能进行拟合，通过图结构从相邻值借用信息。
• 该方法在大规模数据集和高维分层结构上具有高效的可扩展性，其分布式且可并行的设计得到实证支持。
• 基于随机坐标下降求解拉普拉斯系统的去中心化实现，在一般条件下收敛，且仅需节点间的局部通信。
• 该方法支持灵活建模，包括可变大小的参数向量以及针对特定类别中不适用特征的定制化正则化。
• 实证结果表明，该方法在稀疏或缺失特定分层级别数据的场景下，显著提升了模型的泛化能力和稳定性。