[論文レビュー] Knowledge as a Teacher: Knowledge-Guided Structural Attention Networks

Yun-Nung Chen, Dilek Hakkani-Tür+4 more|arXiv (Cornell University)|Sep 12, 2016

Topic Modeling参考文献 42被引用数 29

ひとこと要約

本稿では、外部知識（例：依存木、AMRグラフ）を用いて注目メカニズムを通じて非平坦で知識誘導型の部分構造を統合することで、RNNを一般化する新しいニューラルネットワークアーキテクチャである知識誘導型構造的アテンションネットワーク（K-SAN）を提案する。K-SANは、限られた学習データでもATISベンチマークで最先端の性能を達成しており、大規模データセットでは先行手法よりも最大4.86 F1ポイント優れている。

ABSTRACT

Natural language understanding (NLU) is a core component of a spoken dialogue system. Recently recurrent neural networks (RNN) obtained strong results on NLU due to their superior ability of preserving sequential information over time. Traditionally, the NLU module tags semantic slots for utterances considering their flat structures, as the underlying RNN structure is a linear chain. However, natural language exhibits linguistic properties that provide rich, structured information for better understanding. This paper introduces a novel model, knowledge-guided structural attention networks (K-SAN), a generalization of RNN to additionally incorporate non-flat network topologies guided by prior knowledge. There are two characteristics: 1) important substructures can be captured from small training data, allowing the model to generalize to previously unseen test data; 2) the model automatically figures out the salient substructures that are essential to predict the semantic tags of the given sentences, so that the understanding performance can be improved. The experiments on the benchmark Air Travel Information System (ATIS) data show that the proposed K-SAN architecture can effectively extract salient knowledge from substructures with an attention mechanism, and outperform the performance of the state-of-the-art neural network based frameworks.

研究の動機と目的

• 自然言語理解（NLU）における非平坦な言語的構造をモデル化するRNNの限界を解消すること。
• 事前知識を教師として注目を誘導することで、データが少ない状況でも一般化性能と耐性を向上させること。
• 事前に抽出された言語的特徴に依存する特徴拡張アプローチにおける誤差伝搬と一般化の悪さを克服すること。
• 知識源から顕著な部分構造を自動で学習するエンドツーエンドでトレーニング可能なモデルを構築すること。
• 多様な知識源（例：依存木、AMRグラフ）に対して知識誘導型注目が有効であることを示すこと。

提案手法

• K-SANは、依存木や抽象意味表現（AMR）などの外部知識源から導出された非線形的かつ知識誘導型のネットワークトポロジーを導入することで、RNNを一般化する。
• モデルは、系列を平坦な鎖として扱うのではなく、知識からの構造的ガイダンスに基づいて重要な部分構造（語と関係）に動的に注目する注目メカニズムを採用する。
• 知識誘導型の部分構造は、知識グラフ（例：句構造の中心語や意味的コンセプト）における顕著なノードとエッジを特定し、注目計算用の局所的サブグラフを形成することで構築される。
• モデルはCNNベースのエンコーダで文脈表現を抽出し、その後、知識誘導型の部分構造を注目対象とする構造的アテンション層を経て、タスク固有の表現を生成する。
• 全アーキテクチャは、系列タグ付け目的でエンドツーエンドにトレーニングされ、ニューラルネットワークおよび注目メカニズムを介して損失が逆伝播される。
• 本手法は複数の知識源（例：Stanford依存解析器、SyntaxNet、JAMR、ルールベースのAMR）をサポートし、入力の構造的および意味的特徴に応じて動的に注目を調整する。

実験結果

リサーチクエスチョン

• RQ1 知識誘導型の非平坦なネットワークトポロジーは、リソースが限られたNLU環境における系列タグ付け性能を向上させることができるか？
• RQ2 外部知識によって誘導された注目メカニズムは、平坦なRNNと比較して顕著な部分構造をより適切に特定できるか？
• RQ3 K-SANは、異なる種類の知識源（例：句構造的グラフ対意味的グラフ）に対してどのように一般化するか？
• RQ4 学習データが不足する状況でも、K-SANはどの程度の性能を維持するか？
• RQ5 事前に抽出された特徴に依存せずに、モデルは関連する言語的部分構造を自動で注目できるか？

主な発見

• K-SANは、大規模ATISデータセットで94.86の最先端F1スコアを達成し、前回の最先端手法を4.86ポイント上回った。
• 中規模データセットでは、SyntaxNetに基づく知識を用いて88.40のF1スコアを達成し、前回の最先端手法を3.53ポイント上回った。
• わずか53個の知識誘導型部分構造でも、大規模データセットで87.99のF1スコアを達成しており、構造的ガイダンスが限られた状況でも強力な性能を示している。
• モデルは依存木とAMRグラフの両方の知識源で一貫した性能を示しており、多様な知識フォーマットへの強い一般化能力を示している。
• 注目可視化により、K-SANが、すなわち出発地、到着地、時刻といった重要な要素を、データが少ない状況でも正しく注目していることが確認された。
• モデルは、データセットサイズが異なる状況でも安定した注目分布を維持しており、データ不足に強く、一般化性能に優れていることが示された。