[論文レビュー] Dynamic Integration of Background Knowledge in Neural NLU Systems

Dirk Weissenborn, Tomáš Kočiský+1 more|arXiv (Cornell University)|Jun 8, 2017

Topic Modeling参考文献 28被引用数 63

ひとこと要約

この論文は、外部の背景知識をテキストとして動的に取り込み、語彙埋め込みを洗練させる一般的なリーディングアーキテクチャを提示し、DQAとRTEタスクにおけるニューラルNLIの性能を向上させる。知識を用いた埋め込みの洗練は、単純なタスクモデルであっても競合的または最先端の結果をもたらすことを示す。

ABSTRACT

Common-sense and background knowledge is required to understand natural language, but in most neural natural language understanding (NLU) systems, this knowledge must be acquired from training corpora during learning, and then it is static at test time. We introduce a new architecture for the dynamic integration of explicit background knowledge in NLU models. A general-purpose reading module reads background knowledge in the form of free-text statements (together with task-specific text inputs) and yields refined word representations to a task-specific NLU architecture that reprocesses the task inputs with these representations. Experiments on document question answering (DQA) and recognizing textual entailment (RTE) demonstrate the effectiveness and flexibility of the approach. Analysis shows that our model learns to exploit knowledge in a semantically appropriate way.

研究の動機と目的

• 静的な訓練データを超える背景知識の組み込みの必要性をN LUで動機づける。
• 外部知識をテキストとして読み取り、語彙埋め込みを洗練させる汎用モジュールを提案する。
• 埋め込み洗練がDQAおよびRTEベンチマークで有効であることを示す。
• 単純なタスクアーキテクチャでもこのアプローチが有効で、解釈性の利点を提供することを示す。

提案手法

• タスク入力と外部知識を自然言語のステートメントとして取り込み、複数ステップで語彙埋め込みを洗練するリーディングモジュールを導入する。
• 洗練された埋め込み E^l は、前段の埋め込み E^{l-1} を BiLSTM によって処理された文脈テキスト X^l によって更新し、前情報と新情報をゲーティッド更新で結合する（Equations 2–5）。
• 未洗練の埋め込み E^0 は、事前訓練済みの語彙ベクトルと文字埋め込みをゲーティング融合機構（Equation 1）で組み合わせる。
• ConceptNet（A）およびWikipediaの要約（W）から外部知識をヒューリスティック順位付けで取得し、上位k（RTEではk=20、DQAではk=50）のアサーションを読み取り埋め込みを洗練する。
• 外部知識を自然言語のステートメントとして埋め込み、任意の自然言語理解(NLU)アーキテクチャとの適合性を維持する。
• DQA（SQuAD, TriviaQA）およびRTE（SNLI, MultiNLI）データセットで、単純な単一層 BiLSTM リーダー（および ESIM ベースライン）で評価する。

実験結果

リサーチクエスチョン

• RQ1 動的でテキストベースの背景知識は、静的な訓練データを超えてニューラルN LUを改善できるか？
• RQ2 埋め込みを改良する汎用リーディングモジュールは、単純なアーキテクチャでもDQAとRTEタスクの性能を向上させるか？
• RQ3 ConceptNetとWikipedia由来のテキストの導入は、含意とQAの性能にどのような影響を与えるか？
• RQ4 学習済みモデルは、事実を変更した場合の反事実推論など、外部知識を意味的に有意義な方法で利用しているか？

主な発見

データセット	モデル	正確度	F1
TriviaQA Wiki	Ours (BiLSTM + p + q + A + W)	64.6	72.8
TriviaQA Wiki	Baseline (BiLSTM + p + q)	64.0	68.9
TriviaQA Web	Ours (BiLSTM + p + q + A)	67.5	77.6
TriviaQA Web	Baseline (BiLSTM + p + q)	66.4	83.7
SQuAD Dev	Ours (BiLSTM + p + q + A)	69.5	79.7
SQuAD Dev	Baseline (BiLSTM + p + q)	71.6	80.8

• 文脈情報を用いた埋め込みの洗練は、外部知識がなくても性能を向上させる。
• ConceptNet の知識を取り入れるとさらに結果が改善され、Wikipediaの要約を追加すると TriviaQA で追加の利得が生じる。
• TriviaQA では、フル洗練設定がシンプルな BiLSTM リーダーで競争力のある、または最先端の結果を達成する。
• RTE では、洗練は概して有効であり、ConceptNet を用いると BiLSTM モデルの改善が顕著になる一方、ESIM の改善はデータセット依存である。
• 定性的分析では、モデルが含意/矛盾に対して意味的に妥当な知識に依存し、事実が変更された場合には反事実推論を示すことが明らかになる。
• 訓練データが限られた場合でも手法は有効であり、外部知識の有用性を際立たせる。