[論文レビュー] INT: An Inequality Benchmark for Evaluating Generalization in Theorem Proving

Yuhuai Wu, Albert Qiaochu Jiang+2 more|arXiv (Cornell University)|May 3, 2021

Topic Modeling参考文献 60被引用数 11

ひとこと要約

この論文では、一般化の評価を目的とした理論的に無限大の不等式定理証明ベンチマークであるINTを紹介する。定理生成機を用いることで、6種類の異なる一般化タイプの測定が可能となり、トランスフォーマーやGNNの評価が行われる。結果として、トランスフォーマーはテストタスクでGNNを上回るが、分布外ギャップがGNNよりも大きいことが判明した。また、テスト時におけるモンテカルロ木探索（MCTS）の導入により、定理証明の成功確率が顕著に向上した。

ABSTRACT

In learning-assisted theorem proving, one of the most critical challenges is to generalize to theorems unlike those seen at training time. In this paper, we introduce INT, an INequality Theorem proving benchmark designed to test agents’ generalization ability. INT is based on a theorem generator, which provides theoretically infinite data and allows us to measure 6 different types of generalization, each reflecting a distinct challenge, characteristic of automated theorem proving. In addition, provides a fast theorem proving environment with sequence-based and graph-based interfaces, conducive to performing learning-based research. We introduce base-lines with architectures including transformers and graph neural networks (GNNs)for INT. Using INT, we find that transformer-based agents achieve stronger test performance for most of the generalization tasks, despite having much larger out-of-distribution generalization gaps than GNNs. We further find that the addition of Monte Carlo Tree Search (MCTS) at test time helps to prove new theorems.

研究の動機と目的

• 学習支援型定理証明における一般化の重要な課題、特にトレーニング時に見られなかった定理への一般化を解決すること。
• 理論的に無限大のトレーニングデータをサポートするベンチマークを設計し、多様な一般化タイプの体系的評価を可能とすること。
• シーケンスベースおよびグラフベースのインターフェースを備えた、高速で柔軟な証明環境を提供し、学習ベースの定理証明研究を支援すること。
• トランスフォーマーおよびGNNなどのニューラルアーキテクチャが、未学習の不等式定理に対してどのように性能を発揮するかを評価すること。
• テスト時における探索アルゴリズム（例：モンテカルロ木探索）が、新しい定理の証明に与える影響を調査すること。

提案手法

• ベンチマークは理論的に無限大の不等式定理を生成する定理生成機によって駆動され、6種類の異なる一般化タイプにおける一般化の評価を制御可能にしている。
• 入力表現のためのシーケンスベースおよびグラフベースのインターフェースをサポートする環境であり、多様なモデルアーキテクチャの実装を可能としている。
• ベースラインとして、一般化性能を比較するためにトランスフォーマーおよびグラフニューラルネットワーク（GNN）アーキテクチャが実装されている。
• 一般化は6種類の異なる分布シフトに対して測定されており、それぞれが自動定理証明における異なる課題を反映している。
• テスト時の推論にはモンテカルロ木探索（MCTS）が組み込まれており、推論能力を向上させ、未学習の定理の証明を改善している。
• 性能は分布内および分布外のテストセットの両方で評価され、一般化ギャップの定量的評価が行われている。

実験結果

リサーチクエスチョン

• RQ1 トレーニング時に見られなかった不等式定理に対して、トランスフォーマーに基づくエージェントはGNNに基づくエージェントと比べてどのように性能を発揮するか？
• RQ2 INTベンチマークにおいて、異なるニューラルアーキテクチャの分布外一般化ギャップの大きさはどの程度か？
• RQ3 テスト時にモンテカルロ木探索（MCTS）を組み込むことで、未確認の新しい定理の証明能力はどの程度向上するか？
• RQ4 定義された6つの一般化タイプの中で、現在の学習ベースのエージェントにとって最も挑戦的であるのはどれか？
• RQ5 生成機から得られる理論的無限大のトレーニングデータが、モデルの一般化行動にどのように影響するか？

主な発見

• トランスフォーマーに基づくエージェントは、GNNよりも多数の一般化タスクで優れた全体的なテスト性能を達成している。
• 優れたテスト性能を示す一方で、トランスフォーマーはGNNと比較して顕著に大きな分布外一般化ギャップを示している。
• テスト時にモンテカルロ木探索（MCTS）を追加することで、未確認の新しい定理の証明能力が著しく向上した。
• 定理生成機により、自動定理証明における一意な課題を反映する6種類の異なる一般化タイプに対する体系的評価が可能になった。
• ベンチマーク環境は、シーケンスベースおよびグラフベースの両方のモデルインターフェースを用いた効率的なトレーニングと評価をサポートしている。
• 結果から、ニューラル定理証明エージェントにおいて、強力なドメイン内性能と分布シフトに対するロバストネスの間のトレードオフが浮き彫りになった。