[論文レビュー] Can Neural Networks Understand Logical Entailment?

Evans, Richard, David Saxton+3 more|arXiv (Cornell University)|Feb 23, 2018

Topic Modeling参考文献 35被引用数 10

ひとこと要約

この論文は、命題論理における論理的含意の評価のための新しいデータセットを紹介している。形式的で構造のみのタスクを用いることで、アーキテクチャの帰納的バイアスを分離して評価する。標準的なモデル（LSTM や CNN）と、可能な世界を介した含意を明示的にモデル化する新規アーキテクチャである PossibleWorldNets を比較し、最先端の性能を達成している。これは、強い構造的帰納的バイアスを持つモデルが、構造の暗黙的捕捉に依存するモデルを上回ることを示している。

ABSTRACT

We introduce a new dataset of logical entailments for the purpose of measuring models' ability to capture and exploit the structure of logical expressions against an entailment prediction task. We use this task to compare a series of architectures which are ubiquitous in the sequence-processing literature, in addition to a new model class---PossibleWorldNets---which computes entailment as a "convolution over possible worlds". Results show that convolutional networks present the wrong inductive bias for this class of problems relative to LSTM RNNs, tree-structured neural networks outperform LSTM RNNs due to their enhanced ability to exploit the syntax of logic, and PossibleWorldNets outperform all benchmarks.

研究の動機と目的

• ニューラルネットワークが含意タスクにおける論理式の構造的文法を理解し、活用できるかどうかを評価すること。
• 一般的なニューラルアーキテクチャの帰納的バイアスを、純粋な構造的シーケンス問題において分離し、測定すること。
• 可能な世界を介した含意の意味論を明示的に符号化する新規モデルクラス、PossibleWorldNets の開発とベンチマーク化すること。
• 表面的な統計的バイアスのないベンチマークデータセットを提供し、ニューラルモデルにおける構造的推論の公平な評価を可能にすること。

提案手法

• 著者らは、命題論理における論理的含意の三つ組み（A, B, A⊨B）から成る新しいデータセットを構築した。語彙的・意味的バイアスが生じないよう、抽象的な命題変数を用いている。
• 含意が論理的結合子と文法的構造にのみ依存し、表面的なパターンに依存しないように保証する汎用的なデータ生成プロセスを設計した。
• フィードフォワードネットワーク、畳み込みネットワーク、LSTM、木構造ネットワークを含む標準アーキテクチャを、このデータセット上で評価した。
• PossibleWorldNets を導入した。このモデルは、命題変数のすべての真偽割り当てに対して論理式を評価することで、「可能な世界における畳み込み」として含意を計算する。
• モデルは論理式を処理する木構造ネットワークを用い、すべての可能な世界における異なる可微分集約を適用して含意を計算する。
• 性能比較には、テストセットにおける正答率を用い、アーキテクチャ設計の妥当性を検証するためのアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 意味的意味や語彙的意味に依存せず、文法的構造と論理演算子に依存する含意タスクにおいて、ニューラルネットワークが論理的含意を信頼性高く検出できるか。
• RQ2 どのニューラルネットワークアーキテクチャが、シーケンスデータにおける構造的関係を捉え、活用するのに最も適した帰納的バイアスを示すか。
• RQ3 すべての可能な世界を考慮することで、意味論的（モデル理論的）定義に基づいて含意を明示的に設計したモデルが、構造を暗黙に学習するモデルを上回るか。
• RQ4 LSTM や CNN といった標準アーキテクチャは、純粋な構造的推論タスクにおいてどのように性能を発揮するか。また、それらの失敗は、その帰納的バイアスを何を示唆するか。

主な発見

• 畳み込みネットワークは論理的含意タスクにおいて劣悪な性能を示し、論理式に深く構造的かつ多様な文法的構造が存在する場合に、適切な帰納的バイアスを有していないことが示された。
• LSTM を用いたモデルは畳み込みネットワークを上回る性能を示し、再帰的アーキテクチャが論理式の階層的構造をよりよく捉えられることを示している。
• 木構造ニューラルネットワークは、論理式の文法的構造を明示的にモデル化するため、標準的な LSTMs よりも優れた性能を発揮した。これは、アーキテクチャの帰納的バイアスの重要性を強調している。
• PossibleWorldNets は、命題変数のすべての真偽割り当てにわたる含意を明示的にモデル化することで、最先端の性能を達成した。これは、タスクの意味論と整合するアーキテクチャ設計が、優れた一般化性能をもたらすことを示している。
• 帰納的バイアスがタスクの構造的性質と一致するモデル（例：PossibleWorldNets）が、構造の暗黙的学習に依存するモデルを顕著に上回ることを確認した。
• 自然言語テキスト含意タスクで学習したニューラルモデルは、意味的手がかりに依存するため、形式的論理的推論では失敗する可能性がある。これは、明示的な構造的帰納的バイアスを持つモデルの必要性を強調している。