[논문 리뷰] LUMOS: Democratizing SciML Workflows with L0-Regularized Learning for Unified Feature and Parameter Adaptation

Shouwei Gao, Xu Zheng외 3명|arXiv (Cornell University)|2026. 02. 26.

Machine Learning in Materials Science인용 수 0

한 줄 요약

Lumos는 L0-정규화 학습과 반확률 게이트를 사용해 기능 선택과 모델 가지치기를 통합하여 학습 또는 미세 조정 중에 SciML 모델 설계를 자동화합니다. 상당한 파라미터 및 특징 감소를 거의 비용 없이 달성합니다.

ABSTRACT

The rapid growth of scientific machine learning (SciML) has accelerated discovery across diverse domains, yet designing effective SciML models remains a challenging task. In practice, building such models often requires substantial prior knowledge and manual expertise, particularly in determining which input features to use and how large the model should be. We introduce LUMOS, an end-to-end framework based on L0-regularized learning that unifies feature selection and model pruning to democratize SciML model design. By employing semi-stochastic gating and reparameterization techniques, LUMOS dynamically selects informative features and prunes redundant parameters during training, reducing the reliance on manual tuning while maintaining predictive accuracy. We evaluate LUMOS across 13 diverse SciML workloads, including cosmology and molecular sciences, and demonstrate its effectiveness and generalizability. Experiments on 13 SciML models show that LUMOS achieves 71.45% parameter reduction and a 6.4x inference speedup on average. Furthermore, Distributed Data Parallel (DDP) training on up to eight GPUs confirms the scalability of

연구 동기 및 목표

• SciML 워크플로우에서 특징 선택과 모델 효율성을 자동화할 필요성을 자극한다.
• 학습 또는 미세 조정 중에 특징 선택과 매개변수 가지치를 결합하는 unified 프레임워크를 제안한다.
• 수동 튜닝 및 도메인 지식 요구를 줄이는 실시간, 자가 안내 최적화를 가능하게 한다.

제안 방법

• 학습 중에 입력 특징 및 뉴런 출력 게이트를 학습하는 반확률 게이팅 매개변수를 도입한다.
• 경사 기반 최적화를 가능하게 하는 경분화 가능한 재매개화(hard concrete) 방법을 적용한다.
• 게이트 메커니즘을 일반적인 SciML 레이어(완전 연결, 합성곱, GIN, GCN, 어텐션)와 통합하고 구조적 일관성 매퍼 함수를 통해 아키텍처를 정렬한다.
• 특징 및 매개변수를 가지치면서도 모델 출력의 일관성을 유지하는 임계값 기반 게이팅을 사용한다.
• 특정 특징 집합과 가지치어진 구조를 갖춘 최적화된 모델을 내놓는 엔드-투-엔드 워크플로우를 제공한다.
• 게이트 매개변수가 평균적으로 총 매개변수의 약 3%를 차지하는 것을 보여주며 낮은 오버헤드를 시연한다.

실험 결과

연구 질문

• RQ1 Lumos가 정확성을 손실 없이 정보 특징을 동시에 선택하고 모델 매개변수를 가지치게 할 수 있는가?
• RQ2 반확률 게이팅이 학습 동역학 및 최종 모델 크기에 다양한 SciML 워크로드에서 어떻게 영향을 미치는가?
• RQ3 기존 SciML 학습 또는 미세 조정 파이프라인에 Lumos를 통합하는 오버헤드는 어느 정도인가?
• RQ4 다중 GPU 분산 학습에 적용했을 때 Lumos의 확장성은 얼마나 되는가?

주요 결과

• Lumos는 13개 SciML 워크로드에서 매개변수 감소율 71.45%를 달성한다.
• Lumos는 추론에서 평균 6.4×의 속도 향상을 제공한다.
• 게이트 매개변수는 평균 약 3%의 오버헤드를 추가한다.
• Lumos는 완전 연결, 합성곱, GIN, GCN, 어텐션의 다섯 가지 계층 유형에서 효과적이다.
• 최대 8개의 GPU에서의 DDP 학습은 확장성을 확인한다.