[论文解读] LUMOS: Democratizing SciML Workflows with L0-Regularized Learning for Unified Feature and Parameter Adaptation

Shouwei Gao, Xu Zheng+3 more|arXiv (Cornell University)|Feb 26, 2026

Machine Learning in Materials Science被引用 0

一句话总结

Lumos 将特征选择与模型裁剪统一起来，使用带半随机门控的 L0 正则化学习，在训练或微调期间自动设计 SciML 模型。它在极低开销下实现显著的参数和特征缩减。

ABSTRACT

The rapid growth of scientific machine learning (SciML) has accelerated discovery across diverse domains, yet designing effective SciML models remains a challenging task. In practice, building such models often requires substantial prior knowledge and manual expertise, particularly in determining which input features to use and how large the model should be. We introduce LUMOS, an end-to-end framework based on L0-regularized learning that unifies feature selection and model pruning to democratize SciML model design. By employing semi-stochastic gating and reparameterization techniques, LUMOS dynamically selects informative features and prunes redundant parameters during training, reducing the reliance on manual tuning while maintaining predictive accuracy. We evaluate LUMOS across 13 diverse SciML workloads, including cosmology and molecular sciences, and demonstrate its effectiveness and generalizability. Experiments on 13 SciML models show that LUMOS achieves 71.45% parameter reduction and a 6.4x inference speedup on average. Furthermore, Distributed Data Parallel (DDP) training on up to eight GPUs confirms the scalability of

研究动机与目标

• 在 SciML 工作流中说明自动化特征选择与模型效率的必要性。
• 提出一个统一框架，在训练或微调过程中将特征选择与参数裁剪耦合。
• 实现就地、自导式优化，减少手动调优与领域知识要求。

提出的方法

• 引入在训练过程中学习的半随机门控参数，用于门控输入特征和神经元输出。
• 应用可微分重参数化（硬混凝土）以实现对门的梯度优化。
• 将门控机制与常见的 SciML 层（全连接、卷积、GIN、GCN、注意力）集成，并通过结构一致性映射函数对架构进行对齐。
• 使用基于阈值的门控来裁剪特征和参数，同时通过一致性工具包保持模型输出。
• 提供端到端工作流，得到带有指定特征集和裁剪结构的优化模型。
• 通过实证展示门控参数大约占总参数的 3% ，证明开销较低。

实验结果

研究问题

• RQ1 Lumos 是否能够在不牺牲准确性的前提下，同时进行信息丰富特征选择和模型参数裁剪？
• RQ2 半随机门控如何影响不同 SciML 工作负载下的训练动力学和最终模型大小？
• RQ3 将 Lumos 集成到现有 SciML 训练或微调管道中的开销是多少？
• RQ4 在多 GPU 分布式训练中应用 Lumos 时的可扩展性表现如何？

主要发现

• Lumos 在 13 个 SciML 工作负载中实现了 71.45% 的参数缩减。
• Lumos 在推理中平均实现 6.4× 的加速。
• 门控参数平均增加大约 3% 的开销。
• Lumos 在五种层类型上有效：全连接、卷积、GIN、GCN 和注意力。
• 在最多八个 GPU 上的 DDP 训练证实了可扩展性。