[논문 리뷰] On sparse regression, Lp-regularization, and automated model discovery

Jeremy A. McCulloch, Skyler R. St. Pierre외 2명|arXiv (Cornell University)|2023. 10. 09.

Machine Learning in Materials Science인용 수 6

한 줄 요약

이 논문은 연성 모델링에서 자동화되고 해석 가능한 모델 발견을 가능하게 하기 위해 Lp 정규화와 물리적 제약 조건을 융합한 하이브리드 신경망 접근법을 제안한다. L0 정규화가 해석 가능성과 정확성의 균형을 유일하게 잘 맞추며 투명하고 조절 가능한 희박성(스패arsity)을 가능하게 하여 L1(Lasso) 및 L2(Ridge)보다 모델의 정밀도를 유지하고 편향을 감소시킴으로써 뛰어난 성능을 보임을 입증한다.

ABSTRACT

Sparse regression and feature extraction are the cornerstones of knowledge discovery from massive data. Their goal is to discover interpretable and predictive models that provide simple relationships among scientific variables. While the statistical tools for model discovery are well established in the context of linear regression, their generalization to nonlinear regression in material modeling is highly problem-specific and insufficiently understood. Here we explore the potential of neural networks for automatic model discovery and induce sparsity by a hybrid approach that combines two strategies: regularization and physical constraints. We integrate the concept of Lp regularization for subset selection with constitutive neural networks that leverage our domain knowledge in kinematics and thermodynamics. We train our networks with both, synthetic and real data, and perform several thousand discovery runs to infer common guidelines and trends: L2 regularization or ridge regression is unsuitable for model discovery; L1 regularization or lasso promotes sparsity, but induces strong bias; only L0 regularization allows us to transparently fine-tune the trade-off between interpretability and predictability, simplicity and accuracy, and bias and variance. With these insights, we demonstrate that Lp regularized constitutive neural networks can simultaneously discover both, interpretable models and physically meaningful parameters. We anticipate that our findings will generalize to alternative discovery techniques such as sparse and symbolic regression, and to other domains such as biology, chemistry, or medicine. Our ability to automatically discover material models from data could have tremendous applications in generative material design and open new opportunities to manipulate matter, alter properties of existing materials, and discover new materials with user-defined properties.

연구 동기 및 목표

• 고체 역학 분야에서 데이터로부터 해석 가능한 예측 모델을 자동으로 발견하는 데 도전하는 데 목적을 두며.
• 자동 모델 발견 과정에서 해석 가능성과 희박성 유지를 위해 다양한 Lp 정규화 전략(L0, L1, L2)의 효과를 조사하는 데 목적을 두며.
• 운동학 및 열역학의 물리적 제약 조건을 신경망에 통합하여 물리적으로 의미 있는 매개변수 추정을 보장하는 데 목적을 두며.
• L1 정규화가 유도하는 편향을 피하고 L2 정규화가 희박성을 확보하지 못하는 문제를 해결하기 위해 투명하고 편향 없는 발견 프레임워크를 개발하는 데 목적을 두며.
• 재료 모델링을 넘어 일반화 가능한 지침을 마련하여 희박한 회귀 및 모델 발견 기법에 적용 가능한 범용 지침을 수립하는 데 목적을 두며.

제안 방법

• 운동학 및 열역학의 도메인 지식을 통합한 구성성 신경망을 사용하여 물리적 일관성을 보장한다.
• 후보 모델 항목들 사이의 부분집합 선택을 위해 Lp 정규화(L0, L1, L2)를 적용하여 희박성을 유도한다.
• 가장 우수한 단일 항 모델에서 시작하여 손실 개선에 기반해 가장 관련성이 높은 항을 단계적으로 추가하는 하향식, 반복적인 밀도 증가 전략을 사용한다.
• 수천 번의 모델 발견 런을 통해 합성 데이터와 실제 실험 데이터 모두에서 모델을 훈련시어 성능과 안정성을 평가한다.
• 사용자 정의된 수렴 기준 하에서 손실 함수 최소화를 통해 정규화 전략을 비교하고, 모델 복잡도를 1~4개 항으로 제한하여 해석 가능성 확보한다.
• 다양한 정규화 유형 간의 모델 정확도, 희박성, 편향, 분산을 체계적으로 비교하여 결과를 검증한다.

Figure 1: Lp regularization. Contours of regularization term, $L_{\rm{p}}=\alpha\,\sum_{i=1}^{n_{\rm{para}}}||\,\mbox{\boldmath$\theta$}{}\,||_{p}^{p}$ with $||\,\mbox{\boldmath$\theta$}{}\,||_{p}^{p}=|\,w_{i}\,|^{p}$ , for varying powers, $p=[0.25,0.5,0.75,1,1.5,2,4,8]$ , evaluated for two paramete

실험 결과

연구 질문

• RQ1 다양한 Lp 정규화 전략(L0, L1, L2)이 구성성 모델 발견에서 해석 가능성과 예측 정확성 간의 상호보완적 관계에 어떻게 영향을 미치는가?
• RQ2 L1 정규화와 달리 강한 편향을 유도하지 않고도 L0 정규화가 투명하고 세밀하게 제어 가능한 희박성 제어를 가능하게 할 수 있는가?
• RQ3 운동학 및 열역학 제약 조건(예: 객관성, 다각형성)을 신경망과 통합함으로써 발견된 모델의 신뢰성과 해석 가능성은 어떻게 향상되는가?
• RQ4 비볼록, 비선형 회귀 문제에서 하향식 밀도 증가 전략과 상향식 임계값 설정 전략 간의 성능 차이는 어떠한가?
• RQ5 Lp-정규화된 신경망이 생물학, 화학, 의학 분야에서의 기호적 또는 희박한 회귀와 같은 다른 모델 발견 기법으로 일반화될 수 있는 정도는 어느 정도인가?

주요 결과

• L2 정규화(Ridge 회귀)는 희박성을 유도하지 못하고 모든 매개변수를 유지하므로 모델 발견에 부적합하며, 이는 해석이 어려운 모델을 초래한다.
• L1 정규화(Lasso)는 희박성을 유도하지만 강한 편향을 유도하여 진정한 기저 모델을 왜곡하고 예측 정확도를 떨어뜨린다.
• L0 정규화는 편향 없이 정확한 부분집합 선택이 가능하므로 해석 가능성과 정확성 간의 균형 조절을 투명하고 세밀하게 제어할 수 있으며, 이는 고유한 특성이다.
• 손실 개선에 기반해 항을 단계적으로 추가하는 제안된 하향식 밀도 증가 전략은 다수의 국소 최솟값을 가진 비볼록 문제에서 상향식 임계값 설정 전략보다 더 효과적이다.
• 이 방법은 합성 데이터와 실제 데이터로부터 모두 해석 가능하고 물리적으로 의미 있는 구성성 모델을 성공적으로 발견하였으며, 단 1~4개 항만 포함하는 모델이 높은 정확도와 낮은 분산을 달성하였다.
• 이 프레임워크는 구성성 모델링을 넘어 기호적 회귀, 희박한 회귀, 기타 과학 분야에서의 자동 모델 발견에 응용 가능하며 일반화 가능성이 높다.

Figure 2: Invariant based neural network for automated model discovery. The network takes the deformation gradient $F$ as input and outputs the free energy function $\psi$ from which we calculate the stress $\mbox{\boldmath$P$}{}=\partial\psi/\partial\mbox{\boldmath$F$}{}$ . The network is invariant