[論文レビュー] Addressing the Data Sparsity Issue in Neural AMR Parsing

Xiaochang Peng, Chuan Wang+2 more|arXiv (Cornell University)|Feb 16, 2017

Natural Language Processing Techniques参考文献 17被引用数 9

ひとこと要約

本論文は、新しい線形化戦略と概念の分類を用いてデータスパarsityを緩和する、シーケンス・ツー・シーケンス型ニューラルAMRパーサーを提案する。珍しい概念やエンティティサブグラフを再利用可能なカテゴリにマッピングすることで、モデルはAMRパースィングタスクでF1スコア52%を達成し、従来のニューラルシーケンス・ツー・シーケンスモデルを著しく上回り、外部言語資源を用いない状態で最先端のシステムと同等の性能を発揮する。

ABSTRACT

Neural attention models have achieved great success in different NLP tasks. How- ever, they have not fulfilled their promise on the AMR parsing task due to the data sparsity issue. In this paper, we de- scribe a sequence-to-sequence model for AMR parsing and present different ways to tackle the data sparsity problem. We show that our methods achieve significant improvement over a baseline neural atten- tion model and our results are also compet- itive against state-of-the-art systems that do not use extra linguistic resources.

研究の動機と目的

• 大規模なターゲット語彙と小規模なトレーニングデータセットがモデル性能を制限する神経的AMRパーサーにおけるデータスパarsity問題に対処すること。
• 構文解析や外部リソースを一切使用せず、生のテキストと最小限の前処理のみを用いて、自然言語をAMRグラフに効果的に変換するシーケンス・ツー・シーケンスモデルを開発すること。
• 意味的カテゴリに分類することで、希少な概念や関係の一般化を向上させ、デコード時にヒューリスティックなアラインメントを用いること。
• 依存解析や外部意味的リソースを一切使用しない神経的シーケンス・ツー・シーケンスモデルが、競争力のある性能を達成できることを示すこと。
• 低リソース条件に強く、エンド・ツー・エンドのニューラルAMRパーサーのベンチマークを提供すること。

提案手法

• モデルは、入力文を文脈に配慮した隠れ状態にエンコードするため、双方向LSTMエンコーダーを用いる。
• デコーダーはアテンション機構を備え、出力生成中に関連する入力位置に注目する。これは、入力と出力トークン間のソフトアラインメントを用いる。
• AMRグラフは深さ優先走査を用いて線形化され、概念と関係をシーケンス内のトークンとして扱う。
• 低頻度の概念やエンティティサブグラフを、削減された意味的タイプの集合にマッピングする分類戦略を採用することで、語彙スパarsityを低減する。
• ヒューリスティックなアラインメントにより、ソーススパンをターゲットの概念やサブグラフに結びつける。これにより、モデルはトレーニングデータからマッピングを学習できる。
• デコード段階では、学習されたまたはルールベースの辞書がカテゴリータイプをそれに対応する完全な概念にマッピングし、後処理ステップとして機能する。

実験結果

リサーチクエスチョン

• RQ1 データスパarsityが深刻な状況下でも、シーケンス・ツー・シーケンス型ニューラルモデルがAMRパーサーで競争力のある性能を達成できるか？
• RQ2 概念分類はターゲット語彙のサイズを小さくし、一般化性能を向上させるのにどの程度効果的か？
• RQ3 ソーススパンとターゲット概念との間のヒューリスティックなアラインメントは、デコード精度を向上させるか？
• RQ4 本手法は、外部言語資源を一切使用しない既存のニューラルシーケンス・ツー・シーケンスモデルを上回るか？
• RQ5 依存解析や意味的語彙を活用する最先端のシステムと比較して、本手法はどの程度の性能を示すか？

主な発見

• 提案手法は、AMRパーサーのテストセットでF1スコア0.52を達成し、ベースラインのシーケンス・ツー・シーケンスモデル（F1 0.37）と文字レベルモデル（F1 0.43）を著しく上回った。
• 依存解析や意味的役割ラベリングを用いないにもかかわらず、これらの外部リソースを活用する最先端のシステムと同等の性能を示した。
• 概念分類とヒューリスティックなアラインメントの導入により、希少な概念や関係の影響が軽減され、低リソース例に対するモデルのロバスト性が向上した。
• 特定のスパarsity緩和技術を組み合わせたシーケンス・ツー・シーケンスアーキテクチャが、AMRパーサーにおいて有効であることが示された。
• 構造的な分類とアラインメントにより、構文的監視がなくても、意味的パーサーにおけるデータスパarsityを緩和できることが示唆された。
• 本手法は、パイプラインベースのシステムよりも単純でスケーラブルなエンド・ツー・エンドのニューラルAMRパーサーの強力なベースラインを提供する。