[論文レビュー] Learning Continuous Semantic Representations of Symbolic Expressions

Miltiadis Allamanis, Pankajan Chanthirasegaran+2 more|arXiv (Cornell University)|Nov 4, 2016

Topic Modeling参考文献 20被引用数 44

ひとこと要約

この論文では、記号的式の連続的意味的ベクタ表現（SemVecs）を学習する深層学習アーキテクチャであるNeural Equivalence Networks（EqNet）を紹介する。これにより、構文的に異なるが意味的に同等の式が類似したベクトルにマッピングされる。EqNetは、同値クラスに基づく学習と部分式オートエンコーダーを活用することで、多様な代数的およびブール的式において、TreeNN や RNN よりも優れた性能を発揮する。

ABSTRACT

Combining abstract, symbolic reasoning with continuous neural reasoning is a grand challenge of representation learning. As a step in this direction, we propose a new architecture, called neural equivalence networks, for the problem of learning continuous semantic representations of algebraic and logical expressions. These networks are trained to represent semantic equivalence, even of expressions that are syntactically very different. The challenge is that semantic representations must be computed in a syntax-directed manner, because semantics is compositional, but at the same time, small changes in syntax can lead to very large changes in semantics, which can be difficult for continuous neural architectures. We perform an exhaustive evaluation on the task of checking equivalence on a highly diverse class of symbolic algebraic and boolean expression types, showing that our model significantly outperforms existing architectures.

研究の動機と目的

• 構文的変化に対して不変であるが、構成的意味を保つ記号的式の連続的意味的表現（SemVecs）を学習する課題に対処すること。
• 微小な構文的変更によって大きな意味的変化を引き起こす状況でも、構成的意味を捉えることができるニューラルアーキテクチャを開発すること。
• ペairワイズ比較ではなく意味的同値クラスに基づいた学習目的関数を定式化することで、SemVecsの一般化性とクラスタリング性を向上させること。
• 多様なベンチマーク（代数的およびブール的式）上でモデルを評価し、既存のアーキテクチャを上回る性能を示すこと。
• AI、プログラミング言語、自動推論システムにおける連続的ニューラル推論と記号的推論の統合の基盤を提供すること。

提案手法

• EqNetは、構文に従った残差型の多層ネットワークを用い、部分式からの再帰的合成によって意味的ベクトルを構成し、構成的意味を保持する。
• モデルは、同じ意味的同値クラスに属する式に対して同一の表現を促進する同値クラスに基づく目的関数で訓練される。
• 部分式オートエンコーディング（SubexpAe）を導入し、各部分式の表現がその構文的隣接要素から予測可能かつ逆引き可能であるようにすることで、同値クラス内での密なクラスタリングを促進する。
• プーリング層を回避し、各式に対して1つのベクトル表現を直接出力することで、意味的埋め込みのエンドツーエンド学習を可能にする。
• 既知の意味的同値関係を持つ式のペアを用いて学習を行い、同等の式間の距離を最小化し、非同等の式間の距離を最大化するためのコントラスト学習を用いる。
• この手法は多項式およびブール式の両方をサポートし、構文的多様性を扱いながらも意味的忠実性を維持することに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、構文的変化に対して不変でありながら、構成的意味を保つ記号的式の連続的意味的表現を学習できるか？
• RQ2 深層学習モデルは、記号的式における微小な構文的変更によって引き起こされる大きな意味的変化を効果的に捉えることができるか？
• RQ3 同値クラスに基づく学習は、連続的ベクタ空間内での意味的に同等の式のクラスタリングをどの程度向上させられるか？
• RQ4 提案された部分式オートエンコーディング機構は、学習された意味的ベクトルの質と耐障害性をどの程度向上させるか？
• RQ5 EqNetは、TreeNN や RNN よりも、多様な記号的式の種別（多項式やブール式など）にわたって一般化できるか？

主な発見

• EqNetは、多様な代数的およびブール的式において、TreeNN や RNN といった最先端モデルを著しく上回る性能を示した。
• 同値クラスに基づく学習により、推移的な意味的関係が強化され、SemVecsのクラスタリング性が向上した。
• 部分式オートエンコーディングにより、部分式のベクトルが予測可能かつ逆引き可能となり、同値クラス内でのクラスタリングがさらに密になった。
• 構文的類似性が誤解を招く場合（たとえば項の符号や順序の違いのみ）でも、EqNetは意味的同値性を正しく捉えることができた。
• 実験的結果から、EqNetの表現は構文的変化に対して頑健であり、学習されたベクタ空間内に明確なクラスタリングパターンが確認された。
• この手法は、TreeNN よりも挑戦的な単純なアーキテクチャが苦手とする複雑な多項式およびブール式に対しても、優れた一般化性能を示した。