[논문 리뷰] SymTorch: A Framework for Symbolic Distillation of Deep Neural Networks

Elizabeth S. Z. Tan, Adil Soubki외 1명|arXiv (Cornell University)|2026. 02. 24.

Machine Learning in Materials Science인용 수 0

한 줄 요약

SymTorch는 신경망 구성요소를 폐쇄형 표현으로의 기호적 증류를 자동화하여 해석 가능한 대리 모델과 하이브리드 신경-기호 모델을 가능하게 하며, GNN, PINN, LLM에 걸친 사례 연구를 제공합니다.

ABSTRACT

Symbolic distillation replaces neural networks, or components thereof, with interpretable, closed-form mathematical expressions. This approach has shown promise in discovering physical laws and mathematical relationships directly from trained deep learning models, yet adoption remains limited due to the engineering barrier of integrating symbolic regression into deep learning workflows. We introduce SymTorch, a library that automates this distillation by wrapping neural network components, collecting their input-output behavior, and approximating them with human-readable equations via PySR. SymTorch handles the engineering challenges that have hindered adoption: GPU-CPU data transfer, input-output caching, model serialization, and seamless switching between neural and symbolic forward passes. We demonstrate SymTorch across diverse architectures including GNNs, PINNs and transformer models. Finally, we present a proof-of-concept for accelerating LLM inference by replacing MLP layers with symbolic surrogates, achieving an 8.3\% throughput improvement with moderate performance degradation.

연구 동기 및 목표

• 신경망 구성요소의 기호적 증류를 자동화하는 오픈소스 프레임워크를 제공한다.
• GPU-CPU 데이터 전송, 캐싱, 직렬화, 순전달 전환 등을 처리하여 엔지니어링 장벽을 낮춘다.
• 아키텍처 전반(GNNs, PINNs, Transformers)에 걸친 적용 가능성을 보여주고 LLM 추론 속도 향상의 가능성을 제시한다.
• 기호적 대리모형이 알려진 물리 법칙을 회복하고 LLM의 산술 편향을 드러내는 방법을 설명한다.

제안 방법

• NN 구성요소를 SymbolicModel 블록으로 래핑하여 순전달 도중 입력-출력 데이터를 수집한다.
• 수집된 I/O에 대해 PySR를 사용해 기호적 회귀를 수행하여 출력 차원별 폐쇄형 표현식을 얻는다.
• 선정된 신경망 블록을 Pareto-front 기호 방정식으로 교체하여 하이브리드 모델을 만든다.
• 활성화를 캐시하고 순전달 중 신경계와 기호계 간의 원활한 전환을 지원한다.
• 관심 지점 주위의 이웃에 기호적 대리모형을 적합시켜 SLIME-스타일의 국부적 설명을 제공한다.

Figure 1 : A cartoon depicting how SymTorch is used to perform symbolic distillation on model components. For a trained PyTorch model, SymTorch wraps around any NN component in the model. The user passes in sample data and in the forward pass, the inputs and outputs (I/O) of the component are collec

실험 결과

연구 질문

• RQ1 다양한 아키텍처에 걸쳐 기호적 회귀가 신경망 구성요소의 입력-출력 매핑을 충실히 근사할 수 있는가?
• RQ2 트랜스포머/LLM에서 신경망 블록을 기호적 대리모형으로 대체할 때 실질적 이점과 트레이드오프(정확도와 속도)는 무엇인가?
• RQ3 기호적 증류가 알려진 물리 법칙을 어느 정도 회복하거나 LLM의 학습된 산술 편향을 드러낼 수 있는가?
• RQ4 블랙박스 모델에서 SLIME-스타일의 기호 설명이 국부적 해석 가능성에 어떻게 작용하는가?

주요 결과

레이블	퍼플렉시티 기준값	Δ 퍼플렉시티 PCA+MLP	Δ 퍼플렉시티 PCA+SymTorch	Δ 퍼플렉시티 컨트롤
Baseline	10.62	+3.11	+3.14	+6.97

• SymTorch는 GNNs, PINNs, 그리고 트랜스포머 블록 전반에 걸쳐 기호적 증류를 가능하게 한다.
• 28개 트랜스포머 MLP 층 중 3개를 기호적 대리모형으로 대체하면 처리량이 8.3% 증가하고 다소의 perplexity 증가가 발생한다(기준 3.14 vs 10.62).
• PCA 차원 축소 하위공간의 기호적 대리모형은 PCA 단독과 비슷한 perplexity 저하로 MLP 동작을 포착한다.
• PINN 기반 PDE 해법은 기호적 증류 후 폐쇄형 표현으로 회복될 수 있다.
• GNN 기반 기호적 증류는 실제 상호작용 법칙을 회복하며, 선행 유도 바이어스 발견과 일치한다.

Figure 2 : Approximating local model behavior with SLIME. For a complex non-linear model, we choose the point of interest $\mathbf{x}^{*}$ . We sample points around this region and fit a symbolic model to these points.