[論文レビュー] RelNet: End-to-End Modeling of Entities & Relations

Trapit Bansal, Arvind Neelakantan+1 more|arXiv (Cornell University)|Jan 1, 2017

Topic Modeling参考文献 31被引用数 20

ひとこと要約

RelNet は、エンティティを動的メモリスロットとしてモデル化し、関係性を関係性メモリを介して扱うエンドツーエンドのメモリ拡張ニューラルネットワークであり、テキスト上での構造的推論を可能にする。20個の bAbI タスクのうち11個で0%の誤差を達成し、10k例の設定下で、以前のモデルである EntNet よりも優れた性能を示した。

ABSTRACT

We introduce RelNet: a new model for relational reasoning. RelNet is a memory augmented neural network which models entities as abstract memory slots and is equipped with an additional relational memory which models relations between all memory pairs. The model thus builds an abstract knowledge graph on the entities and relations present in a document which can then be used to answer questions about the document. It is trained end-to-end: only supervision to the model is in the form of correct answers to the questions. We test the model on the 20 bAbI question-answering tasks with 10k examples per task and find that it solves all the tasks with a mean error of 0.3%, achieving 0% error on 11 of the 20 tasks.

研究の動機と目的

• 外部知識やパイプライン型 NLP コンponent に依存せずに、テキスト内のエンティティと関係性を直接モデル化するエンドツーエンドのニューラルネットワークの開発を目的とする。
• 従来のパイプライン型アプローチにおける誤差の蓄積を解消するため、統合されたメモリアーキテクチャ内にエンティティと関係性のモデリングを統合する。
• エンティティ間のペアワイズ相互作用を追跡する専用の関係性メモリコンponent を導入することで、ニューラルネットワークにおける関係性推論を可能にする。
• 明示的なグラフアノテーションや外部知識ベースを一切使用せず、質問-回答の監視のみでモデルをエンドツーエンドで学習する。
• 先行のメモリ拡張モデルよりも、bAbI 質問応答ベンチマークで優れた性能を示すことを実証すること。

提案手法

• モデルは、2つの主要なコンponentを持つメモリ拡張アーキテクチャを採用している：エンティティメモリ（エンティティのための動的キーバリュースロット）と関係性メモリ（エンティティ間のペアワイズ関係を表す D² スロット）。
• エンティティメモリは、入力文の埋め込みに対するアテンションに基づき、関連するスロットを選択するゲーティング機構を用いて更新され、学習された乗法的マスクが使用される。
• 関係性メモリは、アクティブなエンティティメモリと現在の文入力との相互作用に基づいて、関係スロットを活性化するゲーティング機構を用いて更新される。
• 関係性メモリの更新には、入力文の変換に PReLU を適用した後、関係性メモリスロットに適用される学習可能な行列を用いる。
• 出力モジュールは、質問の埋め込みに条件づけられたアテンションをエンティティメモリおよび関係性メモリのベクトルに適用し、最終的な回答を生成する。
• すべてのメモリ状態は、更新後に正規化され、爆発を防ぎ、忘れのメカニズムとして機能する。

実験結果

リサーチクエスチョン

• RQ1 明示的な関係性メモリを備えたメモリ拡張ニューラルネットワークは、エンティティを個別にモデル化するモデルよりも、関係性推論タスクで優れた性能を示せるか？
• RQ2 質問-回答の監視のみでエンドツーエンド学習を実施することで、テキスト内のエンティティ状態とエンティティ間関係の両方を効果的に学習できるか？
• RQ3 エンティティと関係性を統合的にモデル化する統一されたメモリアーキテクチャは、パイプライン型 NLP システムと比較して誤差の蓄積を低減できるか？
• RQ4 関係性メモリの導入により、bAbI ベンチマークにおけるマルチホップ推論や複雑な関係性タスクのパフォーマンスはどのように向上するか？
• RQ5 モデルは、生のテキストからのみ、構造的知識グラフに類似した表現を暗黙的に学習できるか、その程度はどの程度か？

主な発見

• RelNet は、20個の bAbI タスク全体で平均誤差 0.3% を達成し、以前の最先端モデルである EntNet（平均誤差 0.5%）を上回った。
• 20個の bAbI タスクのうち11個で 0% の誤差を達成したが、EntNet のベースラインは7個であった。
• タスク19（パス探索）では、誤差を EntNet の 2.3% から 0% まで低下させ、複雑な関係性推論タスクで優れた性能を示した。
• 単純なコアリファレンス、Yes/No 質問、基本的な演繹を含むすべてのタスクで 0% の誤差を達成しており、基本的な推論タイプに対して高い頑健性を示した。
• マルチホップ推論や関係性推論を要するタスク（例：タスク3, 5, 14, 18）において、関係性メモリの導入により顕著な性能向上が見られた。
• 関係性メモリのアブレーション実験から、構造的かつグラフに類似した推論へのインダクティブバイアスを提供するため、高精度を達成する上で不可欠であることが示された。