[论文解读] An Experimental Study of Formula Embeddings for Automated Theorem Proving in First-Order Logic

Ibrahim Abdelaziz, Veronika Thost+2 more|arXiv (Cornell University)|Feb 2, 2020

Natural Language Processing Techniques参考文献 33被引用 4

一句话总结

本文使用 TRAIL 系統評估並比較了神經引導一階邏輯自動定理證明中基於模式與基於圖的公式嵌入。儘管運行時間成本較高，基於圖神經網絡（GNN）的嵌入方法——特別是訊息傳播網絡（MPNN）——產生的證明明顯更短、更簡潔，且搜索策略更高效，遠勝於較簡單的基於模式的方法，即使考慮運行時間因素，仍顯示其在證明品質與搜索效率上的優勢。

ABSTRACT

Automated theorem proving in first-order logic is an active research area which is successfully supported by machine learning. While there have been various proposals for encoding logical formulas into numerical vectors -- from simple strings to more involved graph-based embeddings -- little is known about how these different encodings compare. In this paper, we study and experimentally compare pattern-based embeddings that are applied in current systems with popular graph-based encodings, most of which have not been considered in the theorem proving context before. Our experiments show that the advantages of simpler encoding schemes in terms of runtime are outdone by more complex graph-based embeddings, which yield more efficient search strategies and simpler proofs. To support this, we present a detailed analysis across several dimensions of theorem prover performance beyond just proof completion rate, thus providing empirical evidence to help guide future research on neural-guided theorem proving towards the most promising directions.

研究动机与目标

• 在自動定理證明中，對不同公式嵌入策略進行公平、直接的比較。
• 評估不同嵌入技術在運行時間效率與證明品質之間的權衡。
• 識別哪些嵌入策略能導致神經引導自動定理證明系統中更有效的搜索路徑與更簡潔的證明。
• 透過實證評估多種編碼方法的優缺點，為未來神經引導定理證明的研究提供指導。

提出的方法

• 本研究實現兩種基於模式的嵌入方法：詞項路徑（term walks）與鏈模式（chain patterns），這些方法透過語法模式與子結構計數來編碼邏輯公式。
• 使用多種圖神經網絡（GNN）變體，包括圖卷積網絡（GCNs）與訊息傳播神經網絡（MPNNs），將公式編碼為結構化圖，以捕捉共用子表達式與變數量化關係。
• 所有嵌入方法均在相同的神經引導自動定理證明系統 TRAIL 中進行評估，確保各方法在策略學習與動作選擇上的一致性。
• 性能評估涵蓋多個維度：證明完成率、平均證明長度、無用步驟數量（搜索低效性）以及每個證明階段的運行時間。
• 向量化操作使用公式的語法樹與有向無環圖（DAG）表示，以保留結構與語義關係。
• 全面分析包含向量化、動作選擇與推理階段的運行時間細分，以識別性能瓶頸。

实验结果

研究问题

• RQ1 在自動定理證明中，基於模式的嵌入與基於圖的嵌入在證明完成率與搜索效率方面有何差異？
• RQ2 儘管計算成本較高，更複雜的基於圖的嵌入是否能產生比簡單基於模式的編碼更簡潔、更短的證明？
• RQ3 嵌入策略的選擇在多大程度上影響證明搜索過程中無用步驟的數量？
• RQ4 即使存在更高的運行時間開銷，基於圖的嵌入是否能提升強化學習策略在引導證明搜索方面的效率？
• RQ5 哪種嵌入類型能讓 ATP 系統表現出最為精確、類似深度優先的搜索行為？

主要发现

• 基於圖的嵌入方法，特別是 MPNN，產生的證明明顯短於基於模式的方法，其中 GCN 在所有測試方法中產生最短的證明。
• MPNN 在無用步驟比例上表現最佳（僅 4.2%），且證明最為簡潔，顯示其具有更精確、類似深度優先的搜索策略。
• 儘管運行時間成本較高，基於圖的嵌入仍優於基於模式的方法，在證明品質與搜索效率方面表現更佳，而基於模式的方法則顯示較高的無用步驟比例（例如，鏈模式達 12.1%）。
• 基於模式的編碼器在向量化與策略評估上速度更快，能騰出更多時間用於推理，但此優勢被其較差的搜索行為所抵消。
• 本研究確認 MPNN 在此情境下優於 GCN，顯示訊息傳播機制更能捕捉定理證明所需的邏輯結構。
• 結果支持在神經引導自動定理證明中使用更豐富、具語義感知的圖編碼，即使存在計算開銷，因其在證明品質與搜索效率上的優勢而值得採用。