[論文レビュー] Exploiting Rich Syntactic Information for Semantic Parsing with Graph-to-Sequence Model

Kun Xu, Lingfei Wu+4 more|arXiv (Cornell University)|Aug 23, 2018

Topic Modeling参考文献 24被引用数 24

ひとこと要約

本論文は、語順、依存構造、構造的構成の3つの構文的情報を統合した統一的な構文的グラフに統合することで、意味解析の性能を向上させるグラフからシーケンスへのモデルを提案する。マルチホップ近傍情報の集約にグラフエンコーダーを活用し、ノード埋め込みの上に注意機構を持つシーケンスデコーダーを用いることで、ベンチマークデータセットで最先端の性能を達成するとともに、特に3つの構文的特徴を統合した場合に、敵対的例に対して優れた耐性を示す。

ABSTRACT

Existing neural semantic parsers mainly utilize a sequence encoder, i.e., a sequential LSTM, to extract word order features while neglecting other valuable syntactic information such as dependency graph or constituent trees. In this paper, we first propose to use the extit{syntactic graph} to represent three types of syntactic information, i.e., word order, dependency and constituency features. We further employ a graph-to-sequence model to encode the syntactic graph and decode a logical form. Experimental results on benchmark datasets show that our model is comparable to the state-of-the-art on Jobs640, ATIS and Geo880. Experimental results on adversarial examples demonstrate the robustness of the model is also improved by encoding more syntactic information.

研究の動機と目的

• 従来のニューラル意味解析モデルが単一の順序付きLSTMエンコーダーに依存し、豊富な構文的構造を無視するという限界を是正すること。
• 語順、依存構造、構成的構造の複数の構文的特徴を統合することで、意味解析の性能と耐性が向上するかを検討すること。
• 多様な構文的情報を1つの構造的入力に統合する統一的な構文的グラフ表現を設計すること。
• 語順の表面的順序を破壊するような、語の入れ替えや言い換えなどの敵対的摂動下でのモデルの耐性を評価すること。

提案手法

• 語順を双方向の語ノードチェーンで表現し、内容語間のラベル付き有向エッジで依存関係を、非終端語の節ノードとその階層的関係性で構成的構造を含む構文的グラフを構築する。
• Kホップ近傍からの特徴集約を実行するメッセージパッシングに基づくグラフエンコーダーを用い、ノード表現を計算した後、プーリング機構によりグローバルなグラフ埋め込みを生成する。
• 構文的グラフ内のノード埋め込みを注意機構で参照するシーケンスデコーダーを採用し、トークンごとに論理形式を逐次生成する。
• 依存ラベルと構成木ラベルをテキスト属性を持つ別個のノードとして扱い、コアのグラフアーキテクチャを変更せずに構造的意味を保持する。
• ベンチマークデータセットからの（テキスト, 論理形式）ペアを用いて、標準的なシーケンス・トゥ・シーケンスの目的関数と交差エントロピー損失でモデルを学習する。
• 語の入れ替えと言い換えの2種類の敵対的例を用い、安定性の指標として精度低下率を評価することで、耐性を評価する。

実験結果

リサーチクエスチョン

• RQ1 語順、依存構造、構成的構造といった複数の種類の構文的情報を統合することで、順序付き特徴のみを用いるモデルと比較して、意味解析の精度が向上するか？
• RQ2 語の再順序や言い換えといった敵対的摂動下において、構文的構造の統合がモデルの耐性にどのように影響するか？
• RQ3 異種の構文的構造を統合するグラフからシーケンスへのアーキテクチャが、意味解析タスクにおいて標準的な順序ベースのエンコーダーよりも優れた性能を示すか？
• RQ4 言い換えやノイズの多い入力といった分布シフト下で、どの構文的特徴が耐性向上に最も寄与するか？

主な発見

• 提案モデルは標準ベンチマークで競争力のある性能を達成し、Jobs640、ATIS、Geo880の各データセットで最先端の結果を同等または上回った。
• 語の入れ替えを伴う敵対的例では、3つの構文的特徴をすべて使用したモデルが最も高い精度を維持した。5つの語が入れ替えられた状況で、語順のみのモデルと比較して2.5%の性能差を示した。
• 語順特徴のみを用いたモデルは言い換え入力で最大6.1%の精度低下を示したが、フルモデルではわずか2.5%の低下に抑えられ、構文的構造の統合による耐性向上が裏付けられた。
• 依存構造と構成的構造の特徴は、語順単体よりも耐性向上に寄与しており、語の入れ替えと言い換えの両方の攻撃に対して、より小さな精度低下が観察された。
• 3つの構文的特徴を統合したモデルは、すべての敵対的設定で最も安定した性能を示し、構造的情報が一般化性能を向上させることを確認した。
• ATISの元の開発セットにおいて、3つの特徴をすべて使用した場合、86.0%の精度に達した。これは、1つまたは2つの特徴のみを用いたモデルを上回った。