[論文レビュー] Can recursive neural tensor networks learn logical reasoning?

Samuel R. Bowman|arXiv (Cornell University)|Dec 21, 2013

Topic Modeling参考文献 18被引用数 29

ひとこと要約

この論文は、明確な自然言語推論例から構成される独自のデータセットを通じて、再帰的ニューラルテンソルネットワーク（RNTNs）が論理的推論を学習できるかを調査している。モデルは高い精度で単調性に基づく推論パターンを学習し、ほとんどの場合で未学習の推論タイプに一般化している。これは、学習されたベクトル表現が構造的な論理的推論をサポートできることを示している。

ABSTRACT

Recursive neural network models and their accompanying vector representations for words have seen success in an array of increasingly semantically sophisticated tasks, but almost nothing is known about their ability to accurately capture the aspects of linguistic meaning that are necessary for interpretation or reasoning. To evaluate this, I train a recursive model on a new corpus of constructed examples of logical reasoning in short sentences, like the inference of "some animal walks" from "some dog walks" or "some cat walks," given that dogs and cats are animals. This model learns representations that generalize well to new types of reasoning pattern in all but a few cases, a result which is promising for the ability of learned representation models to capture logical reasoning.

研究の動機と目的

• 再帰的ニューラルテンソルネットワーク（RNTNs）が、自然言語推論の教師あり学習から論理的推論を学習し一般化できるかどうかを評価すること。
• 手作業で作成された明確で曇りのない推論例を用いることで、コアファレンス解決や構文解析などの他のNLP課題から推論能力を分離すること。
• 学習されたベクトル表現が、固定されたパターンの記憶を超えた一般化可能な量的意味論を捉えられるかどうかをテストすること。
• 特に「ある」「なし」のような量的述語を含む論理的関係を学習する際のRNTNsの限界を調査すること。
• 分布的表現のみを用いて、深層学習モデルが単調性に基づく推論パターンを効果的に学習し一般化できるかどうかを評価すること。

提案手法

• 研究では、Socherらに近い再帰的ニューラルテンソルネットワーク（RNTN）アーキテクチャを用い、木構造の解析木からフレーズおよび文の表現を学習する。
• モデルは、テンソルベースの非線形変換を用いた再帰的合成により、フレーズおよび文のベクトル表現を計算する。
• 量的述語に基づく単調性推論に焦点を当てた、1,000件の明確な自然言語推論例から構成される独自のデータセットを構築した（例：「すべての犬は吠える」は「すべての子犬は吠える」を含意する）。
• 訓練データには、さまざまな量的述語ペア（例：ある、すべて、大多数、なし）とそれらの論理的関係（含意、矛盾など）が含まれており、曇りのない文が慎重に構築されている。
• 複数のトレイン/テスト分割を用いた実験が実施された：1つは量的述語ペア全体をホールドアウトする設定、他の設定ではサブクラスや文の種別を除外して一般化をテストする。
• モデルは、出力表現に対するソフトマックス分類器を用いて、文のペア間の論理的関係（含意、矛盾など）を予測するように訓練された。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルテンソルネットワークは、明確で曇りのない自然言語推論例の少数のカスタムデータセットから論理的推論パターンを学習し一般化できるか？
• RQ2 モデルは、訓練データに存在しない未確認の量的述語ペアや推論タイプにどの程度一般化できるか？
• RQ3 モデルは、固定パターンの記憶を超えて推論を可能にする一般化可能な量的述語の表現を学習しているか？
• RQ4 なぜモデルは『ある』–『なし』量的述語ペアで一貫して失敗するのか、そしてこれはRNTNsの表現能力に何を明らかにしているか？
• RQ5 モデルの挙動は、MacCartneyの単調性フレームワークのような形式的自然論理システムで説明可能か？

主な発見

• モデルは、ほとんどの訓練設定において、単調性に基づく推論パターンの学習と一般化を完璧な精度で達成しており、論理的推論への強いインダクティブバイアスを示している。
• ペアホールドアウト設定（ペア全体をホールドアウト）では、100%のケースで未学習の関係に一般化に成功しており、量的述語の意味論の強固な学習を示している。
• モデルは訓練データから語彙的階層（例：犬 ⊏ 動物）を学習し、(ある犬) 呟く ⊏ (すべての動物) 呟く といった関係を推論に応用している。
• 『ある』–『なし』ペアでは、集合およびサブクラスホールドアウト設定の両方で100%の確率で弱い関係 '|' を予測し、厳密な矛盾関係 '∧' を予測しない。これは表現上の制限を示している。
• 『ある』–『なし』での失敗は形式論理と整合的である：MacCartneyの自然論理では、他の見られた例からその関係を導出できないため、モデルは一貫性はあるが不完全な論理的関係の部分集合を学習している可能性がある。
• 結果から、RNTNsは論理的推論をサポートする一般化可能な表現を学習できるが、特定の量的述語の組み合わせでは最適化および表現能力の向上が求められることが示唆された。