[論文レビュー] Improving AMR Parsing with Sequence-to-Sequence Pre-training

Dongqin Xu, Junhui Li+3 more|arXiv (Cornell University)|Oct 5, 2020

Natural Language Processing Techniques参考文献 36被引用数 6

ひとこと要約

本稿では、機械翻訳、句構造解析、AMR解析そのものを事前学習タスクとして活用することで、AMR解析のためのシーケンス・ツー・シーケンス（seq2seq）事前学習アプローチを提案する。これらのタスクを共同で微調整することで、アーキテクチャの複雑な変更を加えずにAMR 2.0でF1を71.5から80.2へ向上させ、最先端の性能を達成した。

ABSTRACT

In the literature, the research on abstract meaning representation (AMR) parsing is much restricted by the size of human-curated dataset which is critical to build an AMR parser with good performance. To alleviate such data size restriction, pre-trained models have been drawing more and more attention in AMR parsing. However, previous pre-trained models, like BERT, are implemented for general purpose which may not work as expected for the specific task of AMR parsing. In this paper, we focus on sequence-to-sequence (seq2seq) AMR parsing and propose a seq2seq pre-training approach to build pre-trained models in both single and joint way on three relevant tasks, i.e., machine translation, syntactic parsing, and AMR parsing itself. Moreover, we extend the vanilla fine-tuning method to a multi-task learning fine-tuning method that optimizes for the performance of AMR parsing while endeavors to preserve the response of pre-trained models. Extensive experimental results on two English benchmark datasets show that both the single and joint pre-trained models significantly improve the performance (e.g., from 71.5 to 80.2 on AMR 2.0), which reaches the state of the art. The result is very encouraging since we achieve this with seq2seq models rather than complex models. We make our code and model available at https://github.com/xdqkid/S2S-AMR-Parser.

研究の動機と目的

• 人為的アノテーションによるAMRデータセットのサイズが限られているため、パーサーの性能が制限されていることに対処する。
• 一般向けの事前学習モデル（例：BERT）が、語彙の不一致や生成指向の設計ゆえに、seq2seq AMR解析において限界を示すことに対処する。
• 関連するseq2seqタスクでの事前学習がAMR解析性能を向上させるかどうかを検討する。
• 単一タスクの事前学習よりも、複数のタスク（翻訳、構文、AMR）での共同事前学習がより良い結果をもたらすかどうかを調査する。
• 事前学習モデルの出力を保持しつつ、AMR解析性能の最適化を図ることで、微調整を強化する。

提案手法

• 英語→英語の機械翻訳、自動解析された木構造を用いた構文解析、自動変換されたAMRシーケンスを用いたAMR解析という3つのタスクでseq2seqモデルを事前学習する。
• すべての事前学習タスクに同じモデルアーキテクチャ（Transformerベース）を適用することで、パラメータ共有と言語的知識の転送を確保する。
• AMR解析のF1と事前学習モデルの出力保持の両方を同時に最適化する多タスク学習の微調整戦略を実装する。
• 特別なトークンを用いた深さ優先走査により、AMRグラフをシーケンスに線形化する。
• WMT14英語単語彙および双語データセット（翻訳事前学習用）を含む大規模な単語彙および双語テキストデータで学習する。
• Smatch F1を主な指標として用い、標準的な英語AMRベンチマーク2つ（AMR 2.0およびAMR 1.0）で評価する。

実験結果

リサーチクエスチョン

• RQ1 関連するseq2seqタスクでの事前学習が、seq2seqベースのAMRパーサーの性能を向上させるか？
• RQ2 翻訳、構文、AMRという複数のタスクでの共同事前学習は、単一タスクの事前学習よりも優れた結果をもたらすか？
• RQ3 事前学習データの選択（例：翻訳における言語対）が、下流のAMR解析性能に与える影響は何か？
• RQ4 多タスク微調整戦略は、事前学習モデルの出力品質を保持しつつ、AMR解析の正確性を向上させられるか？
• RQ5 複雑なアーキテクチャの変更なしに、提案されたseq2seq事前学習アプローチは有効であるか？

主な発見

• 提案された単一タスク事前学習アプローチにより、AMR 2.0におけるAMR解析F1が71.5から80.2へ向上し、最先端の性能を達成した。
• 機械翻訳と構文解析の共同事前学習（PTM-MT-WMT14B-SynPar-WMT14M）が、AMR 2.0で最高のF1（81.4）を達成した。
• 英語→フランス語翻訳（EN-FR）での事前学習は、英語→ドイツ語（EN-DE）よりも優れた性能を示し、言語対の選択が性能に影響を与えることが示された。
• 多タスク学習の微調整戦略は、通常の微調整よりも性能を向上させ、事前学習知識の保持に有効であることが確認された。
• 複雑なモデル設計や外部ツールを一切使用せず、汎用的なseq2seqフレームワークのみで最先端の結果を達成した。
• アブレーションスタディにより、翻訳および解析タスクでの事前学習が性能を顕著に向上させることを確認し、補助タスクの選択が妥当であることが裏付けられた。