[論文レビュー] Syntax-Infused Transformer and BERT models for Machine Translation and Natural Language Understanding

Dhanasekar Sundararaman, Vivek Subramanian+5 more|arXiv (Cornell University)|Nov 10, 2019

Natural Language Processing Techniques参考文献 18被引用数 37

ひとこと要約

この論文はTransformerとBERTを明示的な統語情報（POS、格、サブワード位置）で拡張し、英独翻訳とGLUEタスクを向上させ、特に限られたデータでBLEUの利得を示し、いくつかのGLUEタスクで改善を示す。

ABSTRACT

Attention-based models have shown significant improvement over traditional algorithms in several NLP tasks. The Transformer, for instance, is an illustrative example that generates abstract representations of tokens inputted to an encoder based on their relationships to all tokens in a sequence. Recent studies have shown that although such models are capable of learning syntactic features purely by seeing examples, explicitly feeding this information to deep learning models can significantly enhance their performance. Leveraging syntactic information like part of speech (POS) may be particularly beneficial in limited training data settings for complex models such as the Transformer. We show that the syntax-infused Transformer with multiple features achieves an improvement of 0.7 BLEU when trained on the full WMT 14 English to German translation dataset and a maximum improvement of 1.99 BLEU points when trained on a fraction of the dataset. In addition, we find that the incorporation of syntax into BERT fine-tuning outperforms baseline on a number of downstream tasks from the GLUE benchmark.

研究の動機と目的

• ニューラルNLPモデルに明示的な統語情報を組み込むことを動機づけ、翻訳と理解を改善する。
• 統語特徴で埋め込みを拡張して統語情報を組み込んだTransformerを開発する。
• POSベースの統語埋め込みをファインチューニング時に組み込み、BERTにも拡張する。
• 統語埋め込みがEN-DE翻訳とGLUEベンチマーク・タスクに与える影響を評価する。
• 統語情報がモデル挙動にどのように影響するかを解釈するため、アテンションパターンを分析する。

提案手法

• POS、ケース、サブワード位置の統語埋め込みをサブワード埋め込みと連結または足し合わせて、Transformerのエンコーダ入力を変更する。
• 6層のエンコーダ/デコーダ層と8ヘッドのアテンションを備えたベースラインと同等の設定で統語-infused Transformerを訓練; 512次元の埋め込みと20次元の特徴埋め込みを使用。
• POS由来の統語特徴、ケース、サブワード位置タグを適用して、Transformerに供する結合トークン表現を作成する。
• BERTをPOS埋め込みをトークン埋め込みに追加して適用する（加算または次元を一定に保つ固定的アプローチで連結のいずれかを採用）; GLUEBenchタスクで評価。
• EN-DE翻訳（WMT ’14）とGLUEベンチマークでモデルを訓練・評価し、ベースラインと比較。
• 統語が翻訳のクロストークンアテンションにどのように影響するかを示す定性的なアテンション可視化を提供。

実験結果

リサーチクエスチョン

• RQ1 制限された学習データでも、Transformerの埋め込みに明示的な統語情報を注入すると、ベースラインTransformerと比較して翻訳品質（BLEU）が向上するか？
• RQ2 POS、格、サブワード位置の特徴は、アテンションパターンや翻訳結果にどのように影響するか？
• RQ3 BERTファインチューニングにPOSを統合すると、BERT BASEと比較してGLUEタスクの改善をもたらすか？
• RQ4 どの統語特徴（POS、格、サブワード位置）が翻訳と理解タスクのパフォーマンス向上に最も寄与するか？
• RQ5 統語-infusedアプローチはデータ規模やタスクタイプ（翻訳 vs GLUEタスク）を問わず有益か？

主な発見

• 統語-infused Transformerはデータ規模を問わずベースラインよりBLEUを改善し、EN-DEデータの10%で最大1.99 BLEUポイントの利得。
• 全体として、データサイズが大きくなるとともに統語-infused TransformerはベースラインTransformerよりBLEUが一様に高く、利得は小さなデータ分率で最大となる。
• アテンションの可視化は、統語-infusedモデルがサブワード全体にわたってアテンションをより広く分散させ、遠く離れた関連トークンを結びつけて翻訳を改善することを示す。
• POS埋め込みをBERT BASEに追加した（BERT BASE + POS）は、GLUEの8タスク中4タスクでBERT BASEを上回り、CoLAなど意味関連タスクで顕著な gains。
• 総合的な特徴埋め込み次元を20とする（合成または連結）場合、POS、case、subword positionの組み合わせが翻訳の最良の改善を生む。
• ベースラインと比較して、BERT BASE + POSは複数のGLUEタスクで競争力のある改善を示し、統語的手がかりが下流の理解タスクを助けることを示唆する。