[論文レビュー] Improving the Transformer Translation Model with Document-Level Context

Jiacheng Zhang, Huanbo Luan+5 more|arXiv (Cornell University)|Oct 8, 2018

Natural Language Processing Techniques被引用数 15

ひとこと要約

本稿では、変換器翻訳モデル用に文書レベルの文脈エンコーダーを提案し、マルチヘッド自己注意機構を用いて文間をまたがる長距離依存関係を捉える。まず文レベルのデータで訓練し、その後限られた文書レベルのデータでファインチューニングすることで、中国語-英語翻訳で1.96 BLEU、フランス語-英語翻訳で0.89 BLEUの翻訳品質向上を達成し、標準変換器およびキャッシュベースのベースラインを上回った。

ABSTRACT

Although the Transformer translation model (Vaswani et al., 2017) has achieved state-of-the-art performance in a variety of translation tasks, how to use document-level context to deal with discourse phenomena problematic for Transformer still remains a challenge. In this work, we extend the Transformer model with a new context encoder to represent document-level context, which is then incorporated into the original encoder and decoder. As large-scale document-level parallel corpora are usually not available, we introduce a two-step training method to take full advantage of abundant sentence-level parallel corpora and limited document-level parallel corpora. Experiments on the NIST Chinese-English datasets and the IWSLT French-English datasets show that our approach improves over Transformer significantly.

研究の動機と目的

• コアファレンスや語彙的結束といった話法現象を処理する能力に欠ける変換器モデルの限界を、文書レベルの文脈を組み込むことで是正すること。
• 大規模な文書レベルの並列コーパスが不足している状況を克服するため、豊富に存在する文レベルの並列データを2段階の訓練手順で活用すること。
• 計算コストの増加を最小限に抑えながら、エンコーダーとデコーダーの両方に文書レベルの表現を統合する変換器アーキテクチャの拡張を実現すること。
• 標準モデルが文脈不足のため性能を発揮できない低リソースな文書レベル翻訳設定での翻訳品質向上を図ること。

提案手法

• マルチヘッド自己注意機構に基づく新しい文脈エンコーダーを導入し、元の変換器エンコーダーとデコーダーに文書レベルの文脈表現を統合する。
• 文書レベルの文脈を元の変換器エンコーダーとデコーダーにマルチヘッド自己注意機構を用いて統合する。
• 2段階の訓練戦略を採用：まず文レベルの並列コーパスで事前学習し、その後限られた文書レベルの並列コーパスでファインチューニングするが、文レベルのパラメータは固定する。
• 文脈ゲーティングを用いて文書レベルの文脈の影響を動的に制御し、特徴統合の向上を図るために残差接続を置き換える。
• デコーディング中に全ソース文書を注目対象とするマルチヘッド自己注意機構を適用し、長距離依存関係のモデル化を可能にする。
• 計算効率を維持するため、著しく速度低下を引き起こさない高度に並列化可能な注目モジュールに依存する。

実験結果

リサーチクエスチョン

• RQ1 文書レベルの文脈は、コアファレンスや語彙的結束といった話法現象の翻訳性能を顕著に向上させることができるか？
• RQ2 限られた文書レベルの並列コーパスしか入手できない状況で、変換器モデルを効果的に訓練する方法は何か？
• RQ3 変換器アーキテクチャのエンコーダーとデコーダーに文書レベルの文脈を最適に統合する方法は何か？
• RQ4 文レベルデータで事前学習し、文書レベルデータでファインチューニングする2段階の訓練戦略は、小規模な文書データでエンドツーエンド学習するのと比べて優れた性能を発揮するか？
• RQ5 文脈ゲーティングは、文脈統合の流れを制御する上で残差接続よりも優れているか？

主な発見

• 提案手法は、文書レベルの文脈を用いることで、NIST中国語-英語データセットで変換器翻訳性能を1.96 BLEUポイント向上させた。
• IWSLTフランス語-英語データセットでは、標準変換器より0.89 BLEUポイントの向上を達成した。
• エンコーダーとデコーダーの両方に文書レベルの文脈を統合した場合が最高性能を示し、47.51 BLEUを記録した。一方、エンコーダーのみを強化した場合の性能は45.97 BLEUにとどまった。
• 文脈ゲーティングは、標準的な残差接続よりも0.38 BLEUポイントの翻訳品質向上をもたらし、文脈統合の制御における有効性を示した。
• 2段階の訓練法は、小規模な文書レベルデータでエンドツーエンド学習する手法を著しく上回り、先行研究で見られた性能低下を回避した。
• アブレーションスタディにより、文書レベルの文脈が語義の曖昧さや語彙的結束の問題を解消することを確認した。ケーススタディでは、'saiche'（レース）からの文脈を用いて、'yundong'を正しく'スポーツ'に解釈できた。