[論文レビュー] Graph2Tac: Online Representation Learning of Formal Math Concepts

Lasse Blaauwbroek, Miroslav Olšák+4 more|arXiv (Cornell University)|Jan 5, 2024

Topic Modeling被引用数 5

ひとこと要約

本論文は Graph2Tac を導入する。Coq 定義のオンライン表現学習のためのグラフニューラルネットワークで、オフラインのベースラインに対して 1.5倍～1.72倍の改善を達成し、未知の領域での定理証明の向上のためにオンライン k-NN を補完する。

ABSTRACT

In proof assistants, the physical proximity between two formal mathematical concepts is a strong predictor of their mutual relevance. Furthermore, lemmas with close proximity regularly exhibit similar proof structures. We show that this locality property can be exploited through online learning techniques to obtain solving agents that far surpass offline learners when asked to prove theorems in an unseen mathematical setting. We extensively benchmark two such online solvers implemented in the Tactician platform for the Coq proof assistant: First, Tactician's online $k$-nearest neighbor solver, which can learn from recent proofs, shows a $1.72 imes$ improvement in theorems proved over an offline equivalent. Second, we introduce a graph neural network, Graph2Tac, with a novel approach to build hierarchical representations for new definitions. Graph2Tac's online definition task realizes a $1.5 imes$ improvement in theorems solved over an offline baseline. The $k$-NN and Graph2Tac solvers rely on orthogonal online data, making them highly complementary. Their combination improves $1.27 imes$ over their individual performances. Both solvers outperform all other general-purpose provers for Coq, including CoqHammer, Proverbot9001, and a transformer baseline by at least $1.48 imes$ and are available for practical use by end-users.

研究の動機と目的

• オフライン学習と比較して、オンライン情報が Coq の自動証明を改善することを示す。
• 見たことのある定義と見たことのない定義の双方に対して階層的で定義を意識した埋め込みを生成する Graph2Tac を開発する。
• Graph2Tac をオンライン k-NN および他のベースラインとベンチマークして、新しい数学的ドメインで定理証明の改善を評価する。

提案手法

• Coq の知識を定義と証明状態の大規模な相互接続されたモノグラフとして表現する。
• 新しい定義をそのグラフから埋め込みを計算する階層的な定義埋め込みニューラルネットワークを導入する。
• 定義埋め込みタスクと証明状態/戦術予測タスクの二つのタスク目標を持つグラフニューラルネットワークを訓練する。
• ゲート付きメッセージパッシングGNNを 8 ホップで用いてノード埋め込みを生成し、それをプーリングしてグラフ埋め込みとする。戦術と戦術引数をMLPとRNNベースのデコーダで予測する。
• 推論時には新しい定義の埋め込みをトポロジー的に計算し、ビーム探索デコード（ビーム幅 256）で戦術を予測する。
• オンライン k-NN およびベースライン（CoqHammer、transformer など）と比較し、補完的な強みを分析する。

実験結果

リサーチクエスチョン

• RQ1 オンライン定義埋め込みは、未知の Coq パッケージに対する定理証明をオフライン学習者と比べて改善できるか？
• RQ2 Graph2Tac の階層的定義表現は戦術とその引数の予測にどのように影響するか？
• RQ3 Graph2Tac とオンライン k-NN を組み合わせることが全体の証明性能に与える影響は何か？
• RQ4 未知のドメインにおける CoqHammer、Proverbot9001、transformer ベースラインと比較して Graph2Tac はどの程度の性能を示すか？
• RQ5 新しい定義と証明からのオンライン学習が実世界の Coq ライブラリにおける証明の成功度をどの程度高めるか？

主な発見

• オンライン k-NN はオフライン相当より定理証明数を 1.72x 増やす（25.8% 対 15.0%）。
• Graph2Tac の定義埋め込みタスクは、オフラインベースラインに対して 17.4% から 26.1% へ（1.5x）の性能向上を達成。
• Graph2Tac とオンライン k-NN は補完的で、両者を組み合わせると単独のいずれかより 1.27x 多くの定理を解決する。
• Both Graph2Tac and k-NN outperform all other general-purpose Coq provers (including CoqHammer, Proverbot9001, ASTactic, TacTok, Passport) by at least 1.48x.
• Graph2Tac は Tactician プラットフォームとの統合を通じて Coq のエンドユーザーが便利に利用できる最初のニューラルネットワークモデルである。
• 評価全体を通じて、Graph2Tac と k-NN を合わせてテスト集合のかなりの割合（33.2%）を証明する。