[論文レビュー] Distilling Formal Logic into Neural Spaces: A Kernel Alignment Approach for Signal Temporal Logic

Sara Candussio, Gabriele Sarti+2 more|arXiv (Cornell University)|Mar 5, 2026

Formal Methods in Verification被引用数 0

ひとこと要約

この論文は、ロバスト性ベースの STL カーネルを Transformer エンコーダへ蒸留し、意味的類似性を保持しつつ推論と再構成を高速化する、効率的で可逆なニューラル埋め込みを生み出す。

ABSTRACT

We introduce a framework for learning continuous neural representations of formal specifications by distilling the geometry of their semantics into a latent space. Existing approaches rely either on symbolic kernels -- which preserve behavioural semantics but are computationally prohibitive, anchor-dependent, and non-invertible -- or on syntax-based neural embeddings that fail to capture underlying structures. Our method bridges this gap: using a teacher-student setup, we distill a symbolic robustness kernel into a Transformer encoder. Unlike standard contrastive methods, we supervise the model with a continuous, kernel-weighted geometric alignment objective that penalizes errors in proportion to their semantic discrepancies. Once trained, the encoder produces embeddings in a single forward pass, effectively mimicking the kernel's logic at a fraction of its computational cost. We apply our framework to Signal Temporal Logic (STL), demonstrating that the resulting neural representations faithfully preserve the semantic similarity of STL formulae, accurately predict robustness and constraint satisfaction, and remain intrinsically invertible. Our proposed approach enables highly efficient, scalable neuro-symbolic reasoning and formula reconstruction without repeated kernel computation at runtime.

研究の動機と目的

• 形式 STL 仕様の意味幾何を preserving しつつ連続ニューラル表現を学ぶ動機づけ。
• カーネルベースの意味類似性をニューエンコーダに橋渡しし、効率的推論を実現。
• 有限次元空間で STL カーネルを近似しつつ可逆性を保つ埋め込みの生成。
• さまざまな構文形態にわたる STL 公式のスケーラビリティと再構成能力を示す。

提案手法

• STL カーネルを教師として Transformer エンコーダをカーネル加重ジオメトリック整合性目的で监督する。
• 12 層の Transformer エンコーダと MLP 投影ヘッドを用いて STL 公式を固定次元の単位半球へ写像。
• 内積がカーネル類似度を近似するように埋め込みを正規化し、実質的に RKHS の代理空間へ埋め込む。
• ロバスト性から連続カーネル類似度 k(φi, φj) を計算し、軌道に関するモンテカルロサンプリングと RBF 変換を用いる。
• 大きな意味的乖離を強調する加重損失 L を採用し、フォーカル風の重み付け機構を取り入れる。
• プーリング戦略（[CLS]、BOS、平均）を評価し、AdamW と bf16 精度でエンドツーエンド訓練。

実験結果

リサーチクエスチョン

• RQ1 ニューラルエンコーダは有限次元埋め込み空間で STL 意味カーネルの幾何を忠実に近似できるか？
• RQ2 カーネル整合のニュー埋め込みは意味的類似性と定量的 STL 意味論（ロバスト性と満足度）を効果的に保持するか？
• RQ3 学習された潜在空間は可逆で、埋め込みから元の STL 公式を再構成できるか？
• RQ4 提案手法はカーネルベース・レキシカル基準と比較して効率性とスケーラビリティにおいてどうか？
• RQ5 最も速く安定して収束し、意味的構造を保持するプーリング戦略はどれか？

主な発見

• 学習埋め込みのカーネル整合性は構成を超えて一貫して 0.9 を超え、意味幾何の強い保持を示す。
• 埋め込みは訓練/検証で一様性スコアが安定して約 -3.0 の周辺、半径球面上で良好に分布。
• 等価な公式ペアはニューラル類似度 0.966、カーネル類似度 0.997；非等価ペアはニューラル 0.182、カーネル 0.170；レキシカル類似のネガティブは 0.308 ニューロル 0.225 カーネル、MAE 0.112。
• ニューラルベースの意味的同意はカーネルベースの意味と高度に相関し、等価で MAE 0.034（ニューラル）対 0.072（非等価）、レキシカルで MAE 0.062（カーネル）。
• frozen 埋め込みで訓練された軽量プローブは平均的なロバスト性（r 約 0.910）と満足度（r 約 0.947）を reasonable な MAE で予測し、定量 STL 意味論の保持を示す。
• デコーダー実験は埋め込み空間が substantial な意味情報を保持していることを示し、バBaseline に対して median cosine similarity 約 0.869、L2 距離約 2.18 を達成、効率性は低くない。