[論文レビュー] Graph-to-Tree Neural Networks for Learning Structured Input-Output Translation with Applications to Semantic Parsing and Math Word Problem

Shucheng Li, Lingfei Wu+4 more|arXiv (Cornell University)|Apr 7, 2020

Natural Language Processing Techniques参考文献 54被引用数 14

ひとこと要約

この論文では、グラフエンコーダーと階層的ツリー・デコーダーを備えた分離型アテンション機構を用いて、グラフ構造の入力と階層的ツリー構造の出力を処理する、新しいグラフからツリーへのニューラルネットワークであるGraph2Treeを提案する。このモデルは、入力および出力の両方の構造的情報を効果的に活用することで、意味解析および数学の文章問題の解決において最先端の性能を達成し、MAWPSベンチマークでは既存の手法よりも最大10パーセンテージポイントの向上を達成した。

ABSTRACT

The celebrated Seq2Seq technique and its numerous variants achieve excellent performance on many tasks such as neural machine translation, semantic parsing, and math word problem solving. However, these models either only consider input objects as sequences while ignoring the important structural information for encoding, or they simply treat output objects as sequence outputs instead of structural objects for decoding. In this paper, we present a novel Graph-to-Tree Neural Networks, namely Graph2Tree consisting of a graph encoder and a hierarchical tree decoder, that encodes an augmented graph-structured input and decodes a tree-structured output. In particular, we investigated our model for solving two problems, neural semantic parsing and math word problem. Our extensive experiments demonstrate that our Graph2Tree model outperforms or matches the performance of other state-of-the-art models on these tasks.

研究の動機と目的

• シーケンスからシーケンス（Seq2Seq）モデルの構造的入出力処理における限界を克服するため、入力としてグラフ構造、出力としてツリー構造を明示的にモデル化すること。
• 構造的表現を用いて句構造的および構成的依存関係を捉えることで、ニューラル意味解析および数学の文章問題の解決を向上させること。
• NLPタスクに一般化可能な、タスクに依存しないフレームワークを構築すること。
• グラフおよびツリーのモデリングによる構造的情報を組み込むことで、シーケンスベースのベースラインよりも顕著な性能向上が達成されることを示すこと。

提案手法

• モデルは、語のシーケンスと従属関係や構成木などの句構造を組み合わせた拡張された入力グラフを処理するためのグラフエンコーダーを用いる。
• 階層的ツリー・デコーダーは、段階的に出力ツリー構造を生成し、ターゲット出力内の構成的依存関係をモデル化する。
• 生成過程において、異種のグラフノードと対応する構成的ノードをツリー・デコーダーが一致させるために、分離型アテンション機構を導入する。
• グラフエンコーダーは、親および兄弟のメッセージパッシングを用いたGNNベースのアーキテクチャを採用し、ノード表現を豊かにする。
• 入力構造として従属関係グラフおよび構成グラフの両方をサポートすることで、入力表現の柔軟性を確保する。
• デコーダーは、数学的式および意味解析の階層的意味を保持するツリー構造の生成プロセスを採用する。

実験結果

リサーチクエスチョン

• RQ1 意味解析や数学の文章問題の解決といった構造的入出力翻訳タスクにおいて、グラフからツリーへのニューラルネットワークが、シーケンスベースのモデルを上回ることができるか？
• RQ2 入力グラフに句構造（例：従属関係木や構成木）を組み込むと、モデルの性能にどのような影響を与えるか？
• RQ3 生成過程において、グラフノードとツリー・デコーダー状態を一致させるために、分離型アテンション機構が果たす貢献は何か？
• RQ4 親および兄弟のメッセージパッシングといったアーキテクチャ的要素が、数学の文章問題における性能に与える影響は何か？
• RQ5 タスク固有の設計を施さずに、異なる構造的予測タスクに一般化できるか？

主な発見

• MAWPSベンチマークでは、構成グラフを用いたGraph2Treeが78.8%の解決精度を達成し、すべての先行最先端モデルを最大10パーセンテージポイント上回った。
• MATHQAデータセットでは、構成グラフを用いたGraph2Treeが69.65%の精度に達し、次に優れたベースラインを5パーセンテージポイント以上上回った。
• アブレーションスタディの結果、分離型アテンション機構を削除すると性能が67.6%に低下し、この機構が一致と生成の面で極めて重要な役割を果たしていることが示された。
• 兄弟のメッセージパッシング機構は、方程式における被演算子の順序が正しさに重要となる数学の文章問題において特に重要であることが判明した。
• MAWPSおよびMATHQAの両方で、構成グラフを用いたモデルが従属関係グラフバージョンを上回った。これは、より豊かな句構造的構造が性能向上に寄与することを示している。
• 正規化手法を用いずに、正規化されていないが意味的に意味のある方程式を直接生成できる能力は、忠実な推論トレース生成の能力を示している。