[論文レビュー] Lattice-Based Transformer Encoder for Neural Machine Translation

Fengshun Xiao, Jiangtong Li+3 more|arXiv (Cornell University)|Jun 4, 2019

Natural Language Processing Techniques参考文献 49被引用数 9

ひとこと要約

本稿では、神経機械翻訳におけるTransformerモデルのラティスベースのエンコーダーを提案し、複数の語またはサブワードの分割を統合するために、ラティス位置符号化（LPE）とラティスに配慮した自己注意（LSA）を導入する。これらの手法を組み合わせることで、パラメータの増加が最小限で、訓練効率の損失もやや抑えられる中で、翻訳性能が0.91 BLEUポイント向上し、語レベルおよびサブワードレベルの表現の両方で有効性を示している。

ABSTRACT

Neural machine translation (NMT) takes deterministic sequences for source representations. However, either word-level or subword-level segmentations have multiple choices to split a source sequence with different word segmentors or different subword vocabulary sizes. We hypothesize that the diversity in segmentations may affect the NMT performance. To integrate different segmentations with the state-of-the-art NMT model, Transformer, we propose lattice-based encoders to explore effective word or subword representation in an automatic way during training. We propose two methods: 1) lattice positional encoding and 2) lattice-aware self-attention. These two methods can be used together and show complementary to each other to further improve translation performance. Experiment results show superiorities of lattice-based encoders in word-level and subword-level representations over conventional Transformer encoder.

研究の動機と目的

• 翻訳における決定的分割の制限が、ソース表現の多様性を制限することへの対処。
• 並列計算を損なわずに、Transformerエンコーダーに複数の語またはサブワードの分割を統合すること。
• 自己注意および位置符号化におけるTransformerと互換性のあるラティスに配慮したメカニズムの開発。
• ラティスベースの手法が、NMTにおける語レベルおよびサブワードレベルの表現の両方で有効であるかの評価。
• ラティス統合による翻訳品質の向上を維持しつつ、訓練効率を保つこと。

提案手法

• 入力系列における相対的な順序に基づいて、ラティスエッジに位置符号を割り当てるラティス位置符号化（LPE）を提案。
• ラティスエッジ間の構造的関係を考慮するように注意計算を変更したラティスに配慮した自己注意（LSA）を導入。
• 複数の分割仮説を有向エッジとして表現するラティスグラフ構造を用い、分割の多様性を保持。
• 修正されたTransformerアーキテクチャにおける訓練安定性を維持するため、残差接続およびレイヤーナーミャライゼーションを適用。
• ラティス内の長距離の位置順序と局所的な隣接関係の両方の情報を活用するため、LPEとLSAを組み合わせる。
• ラティスエッジの関係性と位置情報を反映するように、注意スコアを変更した標準的なマルチヘッド自己注意を採用。

実験結果

リサーチクエスチョン

• RQ1 ラティスベースの表現は、多様な分割選択を捉えることで、TransformerベースのNMTを向上させることができるか？
• RQ2 ラティス構造は、Transformerの自己注意メカニズムに効果的に統合できるか？
• RQ3 ラティス位置符号化は、非線形ラティス構造における系列順序のモデリングを向上させるか？
• RQ4 LPEとLSAは、翻訳性能の向上においてどの程度相乗効果を発揮するか？
• RQ5 ラティスベースの手法は、翻訳品質の向上を維持しつつ、訓練効率を保てるか？

主な発見

• LPEとLSAの組み合わせにより、IWSLT2016 En-Deデータセットで翻訳性能が0.91 BLEUポイント向上し、ベースラインのTransformerを上回った。
• NIST Zh-Enデータセットでは、LPE単体でBLEUが0.39ポイント向上、LSAで0.23ポイント向上し、標準的な位置符号化を上回った。
• LPE+LSAモデルは、tst2014でBLEUスコア30.28を達成し、最良のベースラインと比較して統計的に有意な改善（p < 0.01）を示した。
• ラティスベースのモデルは、ベースラインのTransformerに比べてたった6kの追加パラメータしか追加しないため、パラメータの増加が最小限であることが示された。
• 訓練速度は0.714から0.328ステップ/秒に低下したが、ラティスの複雑さを考慮しても、中程度の効率的コストにとどまった。
• 本手法は語レベルおよびサブワードレベルの分割の両方で有効であり、広範な適用可能性を示した。