[論文レビュー] LUMOS: Democratizing SciML Workflows with L0-Regularized Learning for Unified Feature and Parameter Adaptation

Shouwei Gao, Xu Zheng+3 more|arXiv (Cornell University)|Feb 26, 2026

Machine Learning in Materials Science被引用数 0

ひとこと要約

LumOSは、半確率ゲートを用いたL0正則化学習で特徴選択とモデルプルーニングを統合し、トレーニング中またはファインチューニング中のSciMLモデル設計を自動化します。大きなオーバーヘッドなしにパラメータと特徴を大幅に削減します。

ABSTRACT

The rapid growth of scientific machine learning (SciML) has accelerated discovery across diverse domains, yet designing effective SciML models remains a challenging task. In practice, building such models often requires substantial prior knowledge and manual expertise, particularly in determining which input features to use and how large the model should be. We introduce LUMOS, an end-to-end framework based on L0-regularized learning that unifies feature selection and model pruning to democratize SciML model design. By employing semi-stochastic gating and reparameterization techniques, LUMOS dynamically selects informative features and prunes redundant parameters during training, reducing the reliance on manual tuning while maintaining predictive accuracy. We evaluate LUMOS across 13 diverse SciML workloads, including cosmology and molecular sciences, and demonstrate its effectiveness and generalizability. Experiments on 13 SciML models show that LUMOS achieves 71.45% parameter reduction and a 6.4x inference speedup on average. Furthermore, Distributed Data Parallel (DDP) training on up to eight GPUs confirms the scalability of

研究の動機と目的

• SciMLワークフローにおける特徴選択とモデル効率の自動化の必要性を動機づける。
• トレーニングまたはファインチューニング中に特徴選択とパラメータプルーニングを結びつける統一フレームワークを提案する。
• 自動的で自己指向の最適化を可能にし、手動の調整とドメイン知識要件を削減する。

提案手法

• 入力特徴とニューロン出力をゲートする学習可能な半確率ゲートパラメータを導入する。
• 微分可能な再パラメータ化（ハードコンクリート）を適用してゲートの勾配ベース最適化を可能にする。
• ゲート機構を一般的なSciMLレイヤー（全結合、畳み込み、GIN、GCN、アテンション）と統合し、構造的一貫性マッパー関数を介してアーキテクチャを整合させる。
• 特徴とパラメータをプルーニングしつつ、整合性ツールキットを用いてモデル出力を維持する閾値ベースのゲーティングを使用する。
• 特定の特徴セットとプルーニング構造を備えた最適化済みモデルを出力するエンドツーエンドのワークフローを提供する。
• ゲートパラメータが全パラメータの約3%を占めるという低オーバーヘッドを示すことで実証する。

実験結果

リサーチクエスチョン

• RQ1 Lumosは情報量のある特徴を同時に選択し、モデルパラメータをプルーニングしても精度を損なわないか。
• RQ2 半確率ゲーティングはトレーニング動学と最終的なモデルサイズに多様なSciMLワークロードでどのような影響を与えるか。
• RQ3 既存のSciMLトレーニングまたはファインチューニングパイプラインへのLumos統合のオーバーヘッドはどれくらいか。
• RQ4 複数GPU分散トレーニングに適用した場合のLumosのスケーリングはどの程度か。

主な発見

• Lumosは13件のSciMLワークロードでパラメータを71.45%削減。
• Lumosは推論で平均6.4×のスピードアップを実現。
• ゲートパラメータは平均約3%のオーバーヘッドを追加。
• Lumosは全結合、畳み込み、GIN、GCN、アテンションの5種レイヤータイプで有効。
• 最大8GPUのDDPトレーニングでスケーラビリティを確認。