[論文レビュー] SNIP: Bridging Mathematical Symbolic and Numeric Realms with Unified Pre-training

Kazem Meidani, Parshin Shojaee+2 more|arXiv (Cornell University)|Oct 3, 2023

Machine Learning in Materials ScienceMaterials Science被引用数 3

ひとこと要約

SNIPは、対照的学習を介して、記号的数学的式とその数値的対応物を共同で学ぶ統合的事前学習フレームワークを導入し、ドメイン間の表現アライメントを実現する。共有の低次元潜在空間表現を活用することで、記号的回帰および数学的性質予測において、特に少データ設定下で最先端の性能を達成する。

ABSTRACT

In an era where symbolic mathematical equations are indispensable for modeling complex natural phenomena, scientific inquiry often involves collecting observations and translating them into mathematical expressions. Recently, deep learning has emerged as a powerful tool for extracting insights from data. However, existing models typically specialize in either numeric or symbolic domains, and are usually trained in a supervised manner tailored to specific tasks. This approach neglects the substantial benefits that could arise from a task-agnostic multi-modal understanding between symbolic equations and their numeric counterparts. To bridge the gap, we introduce SNIP, a Symbolic-Numeric Integrated Pre-training model, which employs contrastive learning between symbolic and numeric domains, enhancing their mutual similarities in the embeddings. By performing latent space analysis, we observe that SNIP provides cross-domain insights into the representations, revealing that symbolic supervision enhances the embeddings of numeric data and vice versa. We evaluate SNIP across diverse tasks, including symbolic-to-numeric mathematical property prediction and numeric-to-symbolic equation discovery, commonly known as symbolic regression. Results show that SNIP effectively transfers to various tasks, consistently outperforming fully supervised baselines and competing strongly with established task-specific methods, especially in the low data regime scenarios where available data is limited. Code and model are available at: https://github.com/deep-symbolic-mathematics/Multimodal-Math-Pretraining

研究の動機と目的

• 記号的数学と数値データの間のギャップを埋めるために、統合的事前学習を通じて相互理解を可能にする。
• タスクに依存しないモデルを開発し、記号的および数値的ドメインにおける表現を共同対照的学習によって向上させる。
• 記号的回帰および数学的推論タスクにおける少データおよび低データ設定を改善する。
• 事前学習モデルの補間可能な潜在空間を活用して、高品質な方程式発見を実現する。

提案手法

• SNIPは、記号的式と数値データを別々に処理する二重のトランスフォーマーに基づくエンコーダーを採用する。
• 共同対照的学習目的関数により、(記号的, 数値的)ペアの埋め込みを整列させ、潜在空間におけるドメイン間類似度を向上させる。
• タスク固有のファインチューニングを伴わず、ペairedな記号的および数値的データ上で事前学習を行うため、ゼロショットまたは少データ転送が可能である。
• 事前学習後、数値エンコーダーの上に方程式生成デコーダーをファインチューニングして、記号的回帰を実行する。
• 連続的かつ低次元な表現をナビゲートすることで、精度と複雑さのバランスを取る方程式探索のための潜在空間最適化を用いる。
• 汎化性と頑健性を評価するために、合成データ（Feynman）および実世界データ（Black-box）の両方でフレームワークを評価する。

Figure 1: The SNIP Framework: A schematic representation of the dual-encoder pre-training scheme for mutual learning between symbolic equations and their numerical observations. Both symbolic and numeric encoders work in tandem, capturing the paired similarities and essence of their respective modal

実験結果

リサーチクエスチョン

• RQ1 統合的事前学習アプローチは、共有潜在空間内での記号的および数値的表現のアライメントを効果的に実現できるか？
• RQ2 記号的および数値的データ間の共同対照的学習は、数学的推論タスクにおける下流性能を向上させるか？
• RQ3 SNIPは、完全に教師ありのベースラインと比較して、少データまたは低データ設定下でどのように性能を発揮するか？
• RQ4 事前学習済み潜在空間は、潜在空間最適化を通じて効果的な記号的回帰をどの程度支援するか？
• RQ5 既存の最先端の記号的回帰手法と比較して、SNIPは精度とモデルの複雑さのバランスをより良く実現できるか？

主な発見

• SNIPはSRBenchベンチマークで最先端の性能を達成し、Feynmanデータセットにおける精度上位3位にランクインし、特に高精度解（R² > 0.99）において顕著である。
• Black-boxデータセットでは、中央値R²スコアで4位（0.872）を記録し、平均複雑さスコアが47.52と最低を記録しており、Operon（64.95）、SBP-GP（639.19）、E2E（82.78）を上回る。
• Feynmanデータセットにおけるノイズレベルの変動にわたっても、SNIPは一貫して高い性能を維持し、データ摂動に対して頑健であることが示された。
• Pareto最適性分析において、SNIPはFeynmanおよびBlack-boxデータセットの両方で、精度と複雑さの両方において最初のParetoフロント上に位置しており、優れたトレードオフ性能を示している。
• SNIPは完全に教師ありのベースラインを上回り、特に少データ学習設定下でタスク特化型手法と競合する。
• 潜在空間分析により、記号的監視が数値表現の品質を向上させるとともに、逆に数値表現の向上も記号的表現の品質を高めることを確認し、共同事前学習による相互強化が妥当であることが裏付けられた。

Figure 2: 2D t-SNE representations of the encoded vectors across three model variants, colored for (top) Non-Convexity Ratio and (bottom) Function Upwardness prediction tasks.