[论文解读] Distilling Formal Logic into Neural Spaces: A Kernel Alignment Approach for Signal Temporal Logic

Sara Candussio, Gabriele Sarti+2 more|arXiv (Cornell University)|Mar 5, 2026

Formal Methods in Verification被引用 0

一句话总结

论文将基于鲁棒性的 STL 核心 distilled 为 Transformer 编码器，从而生成高效、可逆的神经嵌入，保持语义相似性并实现快速推理与重建。

ABSTRACT

We introduce a framework for learning continuous neural representations of formal specifications by distilling the geometry of their semantics into a latent space. Existing approaches rely either on symbolic kernels -- which preserve behavioural semantics but are computationally prohibitive, anchor-dependent, and non-invertible -- or on syntax-based neural embeddings that fail to capture underlying structures. Our method bridges this gap: using a teacher-student setup, we distill a symbolic robustness kernel into a Transformer encoder. Unlike standard contrastive methods, we supervise the model with a continuous, kernel-weighted geometric alignment objective that penalizes errors in proportion to their semantic discrepancies. Once trained, the encoder produces embeddings in a single forward pass, effectively mimicking the kernel's logic at a fraction of its computational cost. We apply our framework to Signal Temporal Logic (STL), demonstrating that the resulting neural representations faithfully preserve the semantic similarity of STL formulae, accurately predict robustness and constraint satisfaction, and remain intrinsically invertible. Our proposed approach enables highly efficient, scalable neuro-symbolic reasoning and formula reconstruction without repeated kernel computation at runtime.

研究动机与目标

• 通过保持语义几何关系，推动学习形式化 STL 规范的连续神经表征。
• 将核基于语义相似性与神经编码器桥接，以实现高效推断。
• Produce embeddings that approximate the STL kernel in a finite-dimensional space while remaining invertible.
• Demonstrate scalability and reconstruction capabilities for STL formulae across varied syntactic forms.

提出的方法

• 将 STL 核视为教师，通过核加权几何对齐目标对 Transformer 编码器进行监督。
• 使用 12 层 Transformer 编码器，配合 MLP 投影头，将 STL 公式映射到固定维度单位超球面。
• 对嵌入进行归一化，使点积近似核相似性，实质上嵌入到一个 RKHS 代理。
• 通过对轨迹进行蒙特卡洛采样并使用 RBF 变换，从鲁棒性中计算连续核相似度 k(φi, φj)。
• 采用加权损失 L，强调较大语义差异，具有类聚焦的加权机制。
• 评估聚合策略（[CLS]、BOS、平均）并采用端到端训练，使用 AdamW 和 bf16 精度。

实验结果

研究问题

• RQ1 一个神经编码器能否在有限维嵌入空间忠实近似 STL 语义核的几何？
• RQ2 核对齐的神经嵌入是否能有效保持语义相似性和定量 STL 语义（鲁棒性和满足性）？
• RQ3 学习到的潜在空间是否可逆，能否从嵌入重构原始 STL 公式？
• RQ4 与基于核和词汇的基线相比，该方法在效率与可扩展性方面如何？
• RQ5 哪种聚合策略在保持语义结构的同时能最快、最稳地收敛？

主要发现

• 学习到的嵌入的核对齐在所有配置中持续超过 0.9，表明语义几何被强有力地保持。
• 嵌入在训练/验证集上的均匀性分数稳定在约 -3.0，表明在超球面上具有良好分布。
• 等价公式对的神经相似度为 0.966，核相似度为 0.997；非等价对的神经为 0.182，核为 0.170；词汇相似的负例显示神经为 0.308，核为 0.225，MAE 为 0.112。
• 基于神经的语义一致性与基于核的语义高度相关，神经的 MAE（等价）为 0.034，MAE（非等价）为 0.072；核的 MAE 为 0.062（词汇）。
• 对冻结嵌入的轻量探针预测平均鲁棒性（r 约 0.910）和满足性（r 约 0.947），具有合理的 MAE，表明定量 STL 语义得以保持。
• 解码器实验表明嵌入空间保留了大量语义信息，中位数余弦相似度约 0.869、L2 距离约 2.18，相对于基线而言效率较高。