[論文レビュー] Neural Machine Translation with Joint Representation

Yanyang Li, Qiang Wang+3 more|arXiv (Cornell University)|Feb 16, 2020

Natural Language Processing Techniques参考文献 12被引用数 4

ひとこと要約

この論文は、分離可能アテンションと呼ばれる新しい効率的なアテンションメカニズムを用いて、元のシーケンスとターゲットシーケンスの間の共同表現を活用する、ニューラル機械翻訳のための新規なシーケンス・ツー・シーケンスフレームワークReformerを提案する。すべてのソース・トークンとターゲット・トークン間の相互作用を完全にモデル化しながらも、計算効率を維持することで、Reformerは、大規模翻訳タスクにおいて、50%少ないパラメータで、Transformerベースラインを最大1.9 BLEUポイント上回り、最先端の結果を達成した。

ABSTRACT

Though early successes of Statistical Machine Translation (SMT) systems are attributed in part to the explicit modelling of the interaction between any two source and target units, e.g., alignment, the recent Neural Machine Translation (NMT) systems resort to the attention which partially encodes the interaction for efficiency. In this paper, we employ Joint Representation that fully accounts for each possible interaction. We sidestep the inefficiency issue by refining representations with the proposed efficient attention operation. The resulting Reformer models offer a new Sequence-to- Sequence modelling paradigm besides the Encoder-Decoder framework and outperform the Transformer baseline in either the small scale IWSLT14 German-English, English-German and IWSLT15 Vietnamese-English or the large scale NIST12 Chinese-English translation tasks by about 1 BLEU point.We also propose a systematic model scaling approach, allowing the Reformer model to beat the state-of-the-art Transformer in IWSLT14 German-English and NIST12 Chinese-English with about 50% fewer parameters. The code is publicly available at https://github.com/lyy1994/reformer.

研究の動機と目的

• 全結合的表現の非効率性に起因するニューラル機械翻訳における課題を解決すること。これは、すべてのソース・ターゲットユニット間の相互作用を明示的にモデル化するが、高い計算コストを伴う。
• ソース・ターゲットシーケンス間の相互作用を完全に捉えることができる効率的なアテンションメカニズムを開発すること。これにより、従来のアテンションが単一のシーケンスに制限されるという限界を克服する。
• 従来のエンコーダ・デコーダフレームワークに依存しない、共同表現に基づく新しいシーケンス・ツー・シーケンスモデリングパラダイムを提案すること。
• 顕著に少ないパラメータ数で最先端の性能を達成する、体系的なモデルスケーリングを可能にすること。
• 文脈モデリングと長さ予測の正確性を向上させることで、長文やレアトークンの翻訳品質を向上させること。

提案手法

• 分離可能アテンションと呼ばれる新規なアテンションメカニズムを導入し、$\mathbb{R}^{S\times T\times H}$ の共同表現空間上で動作させることで、ソース・トークンとターゲット・トークン間の完全な相互作用モデリングを可能にする。
• 2つのReformerバリアントを設計した：Reformer-baseは、任意のソースまたはターゲット・トークンへの$O(1)$アクセスを可能にし、最大の効果を発揮する。Reformer-fastは、同等の性能を実現しながらも、より高い効率性を実現する。
• 自己アテンションを再定式化し、計算をソース・ターゲット両シーケンスに分割することで、複雑性を低減しながらも、完全な相互作用モデリングを維持する。
• トレーニングの安定化のため、残差接続とレイヤーナーミャライゼーションを採用。Transformerアーキテクチャに従うが、共同表現空間に適応させたものである。
• 多項式コストのグリッドサーチとは対照的に、$O(2)$回の実行で十分なモデルを生成できる、体系的なモデルスケーリングアプローチを提案する。
• スケーリングされたモデル間で共有パラメータ初期化戦略を採用することで、膨大なハイパーパramータチューニングを回避しつつ、一貫したパフォーマンス向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 完全な共同表現に基づくシーケンス・ツー・シーケンスモデルは、計算効率を維持しながらも、標準のTransformerモデルを上回る翻訳品質を達成できるか？
• RQ2 分離可能アテンションは、標準の自己アテンションと比較して、長距離依存関係や希少トークンの予測において、どのように優れているか？
• RQ3 モデルスケーリングは、より少ないパラメータでパフォーマンスを向上させることができるのか。また、グリッドサーチと比較して、このスケーラブルなアプローチはより効率的か？
• RQ4 共同表現は、標準のアテンションメカニズムと比較して、長さ予測を改善し、翻訳不足（under-translation）を軽減するか？
• RQ5 Reformerフレームワークは、小規模および大規模な翻訳ベンチマークの両方で汎用性を示せるか？

主な発見

• Reformer-baseとReformer-fastは、それぞれIWSLT14ドイツ語-英語、英語-ドイツ語、IWSLT15ベトナム語-英語の各タスクで、Transformerベースラインを1.3、0.8、0.7 BLEUポイント上回った。
• 大規模なNIST12中国語-英語ベンチマークでは、ReformerがTransformerベースラインを1.9 BLEUポイント上回った。
• 体系的なモデルスケーリングを経て、ReformerはIWSLT14ドイツ語-英語でSOTAの大規模Transformerを0.7 BLEUポイント上回り、NIST12中国語-英語では2.0 BLEUポイント上回ったが、約50%のパラメータ数で実現した。
• Reformerモデルは、より適切な翻訳長さを生成し、ベースラインと比較して高い長さ比を示し、翻訳不足を低減した。
• Reformerは、遠く離れたターゲット位置や低頻度トークンの予測精度を著しく向上させ、優れた文脈モデリングと長距離依存関係の捉え方を示した。
• 分離可能アテンションの可視化結果から、ソースおよびターゲット両シーケンスにおいて、トークンに特化した動的なアテンション分布が得られ、標準の自己アテンションの静的分布とは対照的であった。