[論文レビュー] Improving Zero-Shot Translation by Disentangling Positional Information

Danni Liu, Jan Niehues+3 more|Repository KITopen (Karlsruhe Institute of Technology)|Dec 30, 2020

Natural Language Processing Techniques参考文献 33被引用数 11

ひとこと要約

本稿では、入力トークンからの位置情報の分離を図ることで、ゼロショット翻訳の性能を向上させる単純なアーキテクチャ的変更——1つの中央エンコーダ層における残差接続の削除——を提案する。この手法は、多言語間一般化を向上させ、ゼロショット翻訳で最大18.5 BLEUポイントの向上を達成するとともに、再訓練なしに新しい言語の統合を可能にする。

ABSTRACT

Multilingual neural machine translation has shown the capability of directly translating between language pairs unseen in training, i.e. zero-shot translation. Despite being conceptually attractive, it often suffers from low output quality. The difficulty of generalizing to new translation directions suggests the model representations are highly specific to those language pairs seen in training. We demonstrate that a main factor causing the language-specific representations is the positional correspondence to input tokens. We show that this can be easily alleviated by removing residual connections in an encoder layer. With this modification, we gain up to 18.5 BLEU points on zero-shot translation while retaining quality on supervised directions. The improvements are particularly prominent between related languages, where our proposed model outperforms pivot-based translation. Moreover, our approach allows easy integration of new languages, which substantially expands translation coverage. By thorough inspections of the hidden layer outputs, we show that our approach indeed leads to more language-independent representations.

研究の動機と目的

• 多言語ニューラル機械翻訳システムにおけるゼロショット翻訳の性能の低さに対処すること。
• 標準的なモデルがゼロショット推論時に未学習の言語対に一般化できない理由を調査すること。
• 入力トークンに対する位置依存性を低減させることで、言語に依存しない表現を促進する手法を開発すること。
• 最小限のデータで既存の多言語モデルに新しい言語を効率的に統合できること。
• エンコーダーにおける構造的変更がゼロショット翻訳品質を顕著に向上させられることを示すこと。

提案手法

• 入力トークンと隠れ状態の間の1対1の位置対応関係を断つために、1つの中央エンコーダ層における残差接続を削除する。
• この変更により、エンコーダーが語の表現を自由に再編成できるようになり、言語特有の符号化パターンが低減される。
• 最小限のアーキテクチャ的変更で、標準的なTransformerベースの多言語NMTモデルにこの手法を適用する。
• モデルは教師付き翻訳方向で多言語データセット上で学習され、さらにファインチューニングなしにゼロショット翻訳が評価される。
• 位置埋め込みは保持されるが、モデルはその形式に対して頑健であるように設計されており、言語間での一般化が保証される。
• 新しい言語への拡張は、新言語の平行データでのファインチューニングのみで可能となり、他のすべての言語に対するゼロショット能力を維持する。

Figure 1: An example of language-specific encoder outputs as a results of the strong positional correspondence to input tokens (even assuming the word embeddings are cross-lingually mapped).

実験結果

リサーチクエスチョン

• RQ1 共有パラメータを有するにもかかわらず、標準的な多言語NMTモデルがなぜゼロショット翻訳で性能が低いのか？
• RQ2 入力トークンとエンコーダー隠れ状態の間の位置対応が、多言語間一般化をどの程度妨げているのか？
• RQ3 1つのエンコーダ層における残差接続の削除が、教師付き性能を損なうことなくゼロショット翻訳品質を向上させられるか？
• RQ4 提案手法が、トークンレベルおよび文レベルの両方で隠れ表現の言語独立性にどのように影響するか？
• RQ5 ゼロショット翻訳能力を維持しながら、新しい言語の迅速な統合が可能か？

主な発見

• 1つの中央エンコーダ層における残差接続の削除により、ゼロショット翻訳性能が最大18.5 BLEUポイント向上した。
• この向上は、関連する言語対において顕著であり、ピvォットベース翻訳を上回る性能を示した。
• 変更を加えたモデルは、隠れ層出力の分析により、より言語に依存しない表現を生成することが確認された。
• この手法により、N言語が既にサポートされている場合、新言語を追加することで翻訳カバレッジが2N言語対に拡大できる。
• モデルは教師付き翻訳方向でも高い性能を維持しており、主な学習目的に劣化がないことが示された。
• このアプローチは、学習済みおよび正弦波の両方の位置埋め込み方式に対して頑健であることが確認された。

Figure 2: Illustrations of our proposed modifications to an original encoder layer: dropping residual connections once ( $\S$ 2.1 ); making attention query based on position encoding ( $\S$ 2.2 ). Before each self-attention (SA) and feed forward (FF) layer we apply layer normalization, which is not