[論文レビュー] Mathematical Reasoning in Latent Space

Dennis Lee, Christian Szegedy+3 more|arXiv (Cornell University)|Sep 26, 2019

Topic Modeling参考文献 20被引用数 13

ひとこと要約

この論文では、ニューラルネットワークを用いて固定次元の潜在空間内で、完全に複数ステップの数学的推論を実行する手法を提案している。グラフニューラルネットワークを訓練し、書き換えの成功を予測するとともに、書き換えられた式の潜在表現を予測することで、書き換えされた式の直接的な訓練を一切行わずに4ステップの非自明な推論性能を達成した。これは、潜在空間内での近似的な演繹の可能性を示している。

ABSTRACT

We design and conduct a simple experiment to study whether neural networks can perform several steps of approximate reasoning in a fixed dimensional latent space. The set of rewrites (i.e. transformations) that can be successfully performed on a statement represents essential semantic features of the statement. We can compress this information by embedding the formula in a vector space, such that the vector associated with a statement can be used to predict whether a statement can be rewritten by other theorems. Predicting the embedding of a formula generated by some rewrite rule is naturally viewed as approximate reasoning in the latent space. In order to measure the effectiveness of this reasoning, we perform approximate deduction sequences in the latent space and use the resulting embedding to inform the semantic features of the corresponding formal statement (which is obtained by performing the corresponding rewrite sequence using real formulas). Our experiments show that graph neural networks can make non-trivial predictions about the rewrite-success of statements, even when they propagate predicted latent representations for several steps. Since our corpus of mathematical formulas includes a wide variety of mathematical disciplines, this experiment is a strong indicator for the feasibility of deduction in latent space in general.

研究の動機と目的

• ニューラルネットワークが、明示的な記号実行に依存せずに、固定次元の潜在空間内で近似的な数学的推論を実行できるかどうかを調査すること。
• 潜在表現が複数の書き換えステップにわたり意味情報を保持できるかどうかを評価すること。これにより、元の式にアクセスせずに推論が可能になる。
• 書き換え成功予測を用いて、潜在空間における推論の質を測定するシンプルでスケーラブルな評価フレームワークを構築すること。
• 潜在空間における推論の可能性を、より高速で柔軟な自動定理証明システムの基盤として探求すること。

提案手法

• 数式の構文的・意味的構造に基づいて、数学的定理を1024次元の潜在空間に埋め込むためのグラフニューラルネットワークを訓練する。
• 式の潜在表現と書き換えパラメータのみを用いて、与えられた書き換え規則が式に対して成功するかどうかを予測するモデルを訓練する。
• 書き換えが成功した場合、結果となる式の潜在表現の予測も行い、潜在空間内でのエンドツーエンドの伝播を可能にする。
• 中間の式にアクセスせずに、以前に予測された埋め込み表現から将来の潜在状態を再帰的に予測することで、複数ステップの推論を実行する。
• 直接的な埋め込み計算と予測された埋め込み系列の組み合わせを用いて、最大4ステップの書き換えステップにおける推論の質を評価する。
• 書き換え成功予測の正確さ、埋め込み類似度（l²距離）、およびランダムベースラインと使用ベースラインとの比較を用いて性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、固定次元の潜在空間内で、完全に固定次元の潜在空間内での非自明な複数ステップの数学的推論を実行できるか？
• RQ2 複数の書き換えステップにわたり、潜在表現が意味情報をどの程度保持しているか？
• RQ3 潜在空間内で完全に推論が行われる場合、書き換え成功の予測能力が著しく低下するか？
• RQ4 元の定理のみで訓練されたモデルが、書き換えられた式についての推論に、それらを明示的に微調整することなく一般化できるか？

主な発見

• 書き換えされた式の直接的な訓練を一切行わずに、4ステップの推論を潜在空間内で完全に実行しても、書き換え成功の予測能力が著しく保持されている。
• 予測された潜在表現は、ランダムな埋め込みよりも顕著に真の埋め込みに近いことが、複数ステップにわたり一貫したl²距離の改善で示された。
• 複数ステップ予測モデルの性能は徐々に低下するが、依然としてランダムベースラインよりも顕著に高い水準を維持しており、意味情報の効果的な伝播が示された。
• 図4の「Pred (Multi-step)」曲線は、2ステップを超えてモデルが強い推論能力を維持していることを示しており、性能低下は測定可能ではあるが、支配的ではない。
• 図4の「True」曲線は、劣化の主な要因が潜在空間自体の誤差蓄積ではなく、モデルが将来の状態を完全に予測できないことによるものであることを示している。