[논문 리뷰] Distilling Formal Logic into Neural Spaces: A Kernel Alignment Approach for Signal Temporal Logic

Sara Candussio, Gabriele Sarti외 2명|arXiv (Cornell University)|2026. 03. 05.

Formal Methods in Verification인용 수 0

한 줄 요약

본 논문은 강건성 기반의 STL 커널을 Transformer 인코더로 압축하여, 의미적 유사성을 보존하고 빠른 추론 및 재구성을 가능하게 하는 효율적이고 역전 가능한 신경 임베딩을 생성한다.

ABSTRACT

We introduce a framework for learning continuous neural representations of formal specifications by distilling the geometry of their semantics into a latent space. Existing approaches rely either on symbolic kernels -- which preserve behavioural semantics but are computationally prohibitive, anchor-dependent, and non-invertible -- or on syntax-based neural embeddings that fail to capture underlying structures. Our method bridges this gap: using a teacher-student setup, we distill a symbolic robustness kernel into a Transformer encoder. Unlike standard contrastive methods, we supervise the model with a continuous, kernel-weighted geometric alignment objective that penalizes errors in proportion to their semantic discrepancies. Once trained, the encoder produces embeddings in a single forward pass, effectively mimicking the kernel's logic at a fraction of its computational cost. We apply our framework to Signal Temporal Logic (STL), demonstrating that the resulting neural representations faithfully preserve the semantic similarity of STL formulae, accurately predict robustness and constraint satisfaction, and remain intrinsically invertible. Our proposed approach enables highly efficient, scalable neuro-symbolic reasoning and formula reconstruction without repeated kernel computation at runtime.

연구 동기 및 목표

• 형식 STL 명세의 의미 기하를 보존하여 연속 신경 표현 학습의 동기를 부여한다.
• 커널 기반 의미 유사성과 신경 인코더를 연결하여 효율적인 추론을 가능하게 한다.
• 역전 가능한 상태를 유지하면서 유한 차원 공간에서 STL 커널을 근사하는 임베딩을 생성한다.
• 다양한 구문 형태에 걸친 STL 공식의 확장성과 재구성 능력을 시연한다.

제안 방법

• STL 커널을 교사로 삼아 커널 가중 기하 정렬 목표를 통해 Transformer 인코더를 감독한다.
• STL 공식을 고정 차원의 단위 초구(Hypersphere)로 매핑하기 위해 MLP 프로젝션 헤드를 갖춘 12-층 Transformer 인코더를 사용한다.
• 내적이 커널 유사도를 근사하도록 임베딩을 정규화하여 사실상 RKHS 프록시로 임베딩한다.
• 강건성으로부터 연속 커널 유사도 k(φi, φj)를 계산하고, 궤적에 대한 몬테카를로 샘플링 및 RBF 변환을 사용한다.
• 큰 의미 차이를 강조하는 가중 손실 L을 채택하고, 포컬-like 가중 메커니즘을 적용한다.
• 풀링 전략([CLS], BOS, mean)를 평가하고 AdamW 및 bf16 정밀도와 함께 엔드-투-엔드 훈련 체제를 사용한다.

실험 결과

연구 질문

• RQ1 신경 인코더가 유한 차원 임베딩 공간에서 STL 의미 커널의 기하를 충실히 근사할 수 있는가?
• RQ2 커널 정렬된 신경 임베딩이 의미 유사성과 정량적 STL 의미(강건성 및 충족 여부)를 효과적으로 보존하는가?
• RQ3 학습된 잠재 공간이 역전 가능하여 임베딩으로부터 원래의 STL 공식을 재구성할 수 있는가?
• RQ4 제안된 방법이 효율성 및 확장성 측면에서 커널 기반 및 어휘 기반 대비 어떻게 비교되는가?
• RQ5 의미 구조를 보존하면서 가장 빠르고 안정적인 수렴을 제공하는 풀링 전략은 무엇인가?

주요 결과

• 학습된 임베딩의 커널 정렬은 구성을 불문하고 일관되게 0.9를 넘겨, 의미 기하가 강하게 보존됨을 나타낸다.
• 임베딩은 훈련/검증에서 -3.0 부근의 uniformity 점수를 달성하여 초구(Hypersphere) 위에 잘 분포된 표현을 나타낸다.
• 동등한 공식 쌍은 신경 유사도 0.966 대비 커널 유사도 0.997; 비동등 쌍은 0.182 대 0.170; 어휘 유사 음수는 0.308 신경 대비 0.225 커널이며 MAE 0.112.
• 신경 기반 의미 합의는 커널 기반 의미와 높은 상관을 보이며, 신경에서 동등에 대해 MAE 0.034, 비동등에 대해 0.072; 커널의 경우 어휘적(MAE) 0.062.
• 동결된 임베딩으로 학습된 경량 프로브가 평균 강건성(r ≈ 0.910)과 만족도(r ≈ 0.947)을 예측하고 합리적인 MAE를 보이며, 정량적 STL 의미가 보존되었음을 시사한다.
• 디코더 실험은 임베딩 공간이 상당한 의미 정보를 보유함을 보여주며, 중앙값 코사인 유사도 ~0.869 및 L2 거리 ~2.18를 확보하고, 비효율적인 기준선에 비해 더 효율적이다.