[논문 리뷰] SNIP: Bridging Mathematical Symbolic and Numeric Realms with Unified Pre-training

Kazem Meidani, Parshin Shojaee외 2명|arXiv (Cornell University)|2023. 10. 03.

Machine Learning in Materials ScienceMaterials Science인용 수 3

한 줄 요약

SNIP는 대비 학습을 통해 기호 수학적 표현과 그 수치적 대응을 함께 학습하는 통합된 사전 훈련 프레임워크를 도입하여 교차 도메인 표현 정렬을 가능하게 한다. 공통의 저차원 잠재 공간 표현을 활용함으로써 기호 회귀와 수학적 성질 예측에서 최신 기술 수준의 성능을 달성하며, 특히 소수의 샘플이 있는 설정에서 정확도와 모델 단순성 모두를 향상시킨다.

ABSTRACT

In an era where symbolic mathematical equations are indispensable for modeling complex natural phenomena, scientific inquiry often involves collecting observations and translating them into mathematical expressions. Recently, deep learning has emerged as a powerful tool for extracting insights from data. However, existing models typically specialize in either numeric or symbolic domains, and are usually trained in a supervised manner tailored to specific tasks. This approach neglects the substantial benefits that could arise from a task-agnostic multi-modal understanding between symbolic equations and their numeric counterparts. To bridge the gap, we introduce SNIP, a Symbolic-Numeric Integrated Pre-training model, which employs contrastive learning between symbolic and numeric domains, enhancing their mutual similarities in the embeddings. By performing latent space analysis, we observe that SNIP provides cross-domain insights into the representations, revealing that symbolic supervision enhances the embeddings of numeric data and vice versa. We evaluate SNIP across diverse tasks, including symbolic-to-numeric mathematical property prediction and numeric-to-symbolic equation discovery, commonly known as symbolic regression. Results show that SNIP effectively transfers to various tasks, consistently outperforming fully supervised baselines and competing strongly with established task-specific methods, especially in the low data regime scenarios where available data is limited. Code and model are available at: https://github.com/deep-symbolic-mathematics/Multimodal-Math-Pretraining

연구 동기 및 목표

• 기호 수학과 수치 데이터 간 격차를 해소하기 위해 통합된 사전 훈련을 통해 상호 이해를 가능하게 한다.
• 기능에 종속되지 않은 모델을 개발하여 기호 및 수치 도메인의 표현을 공동 대비 학습을 통해 향상시킨다.
• 기호 회귀 및 수학적 추론 작업에서 소수의 샘플 또는 저자료 설정을 개선한다.
• 사전 훈련된 모델의 보간 가능한 잠재 공간을 활용하여 고품질의 식 발견을 가능하게 한다.

제안 방법

• SNIP는 기호 표현과 수치 데이터를 별도로 처리하기 위해 이중 트랜스포머 기반 인코더를 사용한다.
• 공동 대비 학습 목표는 (기호, 수치) 쌍의 임베딩을 정렬하여 잠재 공간 내에서 교차 도메인 유사도를 향상시킨다.
• 모델은 작업에 특화된 미세조정 없이 쌍화된 기호 및 수치 데이터로 사전 훈련되어 제로샷 또는 소수의 샘플 전이가 가능하다.
• 사전 훈련 후, 수치 인코더 위에 기호 회귀를 수행하기 위해 식 생성 디코더를 미세조정한다.
• 정확도와 복잡도를 균형 잡는 식을 찾기 위해 연속적이고 저차원적인 표현을 탐색하는 잠재 공간 최적화 기법을 사용한다.
• 일반화 및 강건성 평가를 위해 합성(Feynman) 및 실세계(Black-box) 데이터셋 모두에서 프레임워크를 평가한다.

Figure 1: The SNIP Framework: A schematic representation of the dual-encoder pre-training scheme for mutual learning between symbolic equations and their numerical observations. Both symbolic and numeric encoders work in tandem, capturing the paired similarities and essence of their respective modal

실험 결과

연구 질문

• RQ1 통합된 사전 훈련 접근법이 공통 잠재 공간 내에서 기호 및 수치 표현을 효과적으로 정렬할 수 있는가?
• RQ2 기호 및 수치 데이터 간 공동 대비 학습이 수학적 추론 작업의 최종 성능을 향상시키는가?
• RQ3 SNIP는 완전히 지도 학습 기반 모델 대비 소수의 샘플 또는 저자료 설정에서 어떻게 성능을 내는가?
• RQ4 사전 훈련된 잠재 공간이 잠재 공간 최적화를 통해 효과적인 기호 회귀를 얼마나 잘 지원하는가?
• RQ5 기존 최신 기술 수준의 기호 회귀 방법 대비 SNIP는 정확도와 모델 복잡도 간의 균형을 더 잘 달성할 수 있는가?

주요 결과

• SNIP는 SRBench 벤치마크에서 최신 기술 수준의 성능을 달성했으며, Feynman 데이터셋에서 정확도 순위 상위 3개 이내에 진입했고, 특히 고정확도 해답(R² > 0.99)에서 뛰어난 성능을 보였다.
• Black-box 데이터셋에서 SNIP는 중앙값 R² 점수(0.872)로 4위를 기록했고, 평균 복잡도 점수(47.52)는 가장 낮아 Operon(64.95), SBP-GP(639.19), E2E(82.78)를 모두 앞섰다.
• Feynman 데이터셋에서 다양한 노이즈 수준에서도 일관되게 뛰어난 성능을 유지하며 데이터 편향에 대한 강건성을 입증했다.
• Pareto 최적성 분석에서 SNIP는 Feynman 및 Black-box 데이터셋 양쪽에서 정확도와 복잡도 모두 첫 번째 Pareto-프론트에 위치하여 열등한 트레이드오프 성능를 보였다.
• 완전히 지도 학습 기반 모델을 능가하고, 특히 소수의 샘플 학습 설정에서 작업에 특화된 방법과 경쟁적으로 성능을 내었다.
• 잠재 공간 분석을 통해 기호 지도 학습이 수치 표현 품질을 향상시키고, 반대로 수치 지도 학습이 기호 표현 품질을 향상시키는 것을 확인하여 공동 사전 훈련을 통한 상호 강화 효과를 검증했다.

Figure 2: 2D t-SNE representations of the encoded vectors across three model variants, colored for (top) Non-Convexity Ratio and (bottom) Function Upwardness prediction tasks.