[論文レビュー] Recursive Neural Networks for Learning Logical Semantics.

Samuel R. Bowman, Christopher Potts+1 more|arXiv (Cornell University)|Jun 6, 2014

Topic Modeling参考文献 21被引用数 22

ひとこと要約

本稿では、再帰的ニューラルネットワーク（具体的にはプレーンRNNと再帰的ニューラルテンソルネットワーク：RNTNs）が、自然言語における含意の論理的意味を組み合わせ的に学習できるかを評価している。論理的文法から生成された制御されたデータセットを用いて、RNTNsは含意、対立、量化された文の間で良好に一般化するが、プレーンRNNは混合した成績にとどまり、RNTNsが論理的演繹を支援する表現を学ぶのに適していることが示唆される。

ABSTRACT

Supervised recursive neural network models (RNNs) for sentence meaning have been successful in an array of sophisticated language tasks, but it remains an open question whether they can learn compositional semantic grammars that support logical deduction. We address this question directly by for the first time evaluating whether each of two classes of neural model — plain RNNs and recursive neural tensor networks (RNTNs) — can correctly learn relationships such as entailment and contradiction between pairs of sentences, where we have generated controlled data sets of sentences from a logical grammar. Our first experiment evaluates whether these models can learn the basic algebra of logical relations involved. Our second and third experiments extend this evaluation to complex recursive structures and sentences involving quantification. We find that the plain RNN achieves only mixed results on all three experiments, whereas the stronger RNTN model generalizes well in every setting and appears capable of learning suitable representations for natural language logical inference.

研究の動機と目的

• 教師あり再帰的ニューラルネットワークが、論理的演繹を支援できる組み合わせ的意味文法を学習できるかを調査すること。
• ニューラルモデルが文のペアにおける含意や対立といった論理的関係を捉える能力を評価すること。
• 再帰的構造が複雑になるのとともに、量化を含む文を含めた一般化能力を評価すること。
• プレーンRNNと再帰的ニューラルテンソルネットワーク（RNTNs）の論理的意味の学習における性能を比較すること。

提案手法

• 著者らは、含意と対立関係を定義するための形式的論理的文法を用いて、文のペアの制御されたデータセットを生成した。
• 彼らは、これらのデータセット上でプレーンRNNと再帰的ニューラルテンソルネットワーク（RNTNs）を訓練し、文の表現を学習した。
• モデルは、基本的な論理代数と複雑な再帰的構造を含む文のペア間の論理的関係を予測する能力について評価された。
• 評価には、量化子を含む文が含まれており、モデルが単純なパターンを超えて一般化できるかがテストされた。
• RNTNモデルは、テンソルベースの合成を用いて、語の表現間の非線形的相互作用を学習し、表現能力を向上させた。
• 性能は、複数の実験設定における論理的関係の予測精度を通じて測定された。

実験結果

リサーチクエスチョン

• RQ1 プレーンRNNは、文のペアにおける含意や対立の基本的な代数を学習できるか？
• RQ2 RNTNsは、複雑な再帰的文構造を含む状況でも、正確な論理的含意を維持しながら一般化できるか？
• RQ3 両モデルは、より深い組み合わせ的理解を要する量化を含む文に対して、どのように性能を発揮するか？
• RQ4 RNTNsにテンソルベースの合成が組み込まれることで、プレーンRNNよりも論理的推論タスクにおける一般化性能が向上するか？

主な発見

• プレーンRNNは、すべての3つの実験で混合した結果にとどまり、論理的含意タスクにおける一般化能力が限定的であることが示された。
• RNTNモデルは、複雑な再帰的構造や量化された文を含むすべての実験設定で良好に一般化した。
• RNTNは、自然言語の論理的含意を支援する表現を学習する上で優れた性能を示した。
• 結果から、RNTNsは論理的演繹を支援する組み合わせ的意味文法を学習できる可能性があることが示唆された。
• テンソルベースの合成によるRNTNsのより強い表現能力のおかげで、プレーンRNNよりも論理的関係の学習が優れていた。