[論文レビュー] Enhancing Machine Translation with Dependency-Aware Self-Attention

Emanuele Bugliarello, Naoaki Okazaki|arXiv (Cornell University)|Sep 6, 2019

Natural Language Processing Techniques参考文献 45被引用数 9

ひとこと要約

本稿では、パラメータを必要とせず、従属関係に依存する自己注意機構であるPascalを提案する。この機構は、エンコーダーの最初の層に構文的親関係を明示的に組み込むことで、Transformerモデルの性能を向上させる。注意スコアを従属関係の親の位置に応じてスケーリングすることにより、長文や低リソース設定において翻訳品質が向上し、追加のパラメータや計算コストを増加させることなく、遠隔翻訳タスク（En-Ja）で最大+3.5 BLEUポイントの向上を達成する。

ABSTRACT

Most neural machine translation models only rely on pairs of parallel sentences, assuming syntactic information is automatically learned by an attention mechanism. In this work, we investigate different approaches to incorporate syntactic knowledge in the Transformer model and also propose a novel, parameter-free, dependency-aware self-attention mechanism that improves its translation quality, especially for long sentences and in low-resource scenarios. We show the efficacy of each approach on WMT English-German and English-Turkish, and WAT English-Japanese translation tasks.

研究の動機と目的

• 従来のアテンションメカニズムに構文的インダクティブバイアスを明示的に組み込むことなく、Transformerアーキテクチャに構文的知識を効果的に統合する方法を調査すること。
• 追加のパラメータを必要としたり、シーケンス長を延ばしたりするか、異なるデータ環境で一般化できない既存の構文に依存するNMTモデルの限界を解決すること。
• 自己注意機構を、依存解析の情報を用いて強化する方法を設計することにより、モデルの効率性や柔軟性を損なわないようにすること。
• LISA やRNNベースの構文統合と比較して、Transformerフレームワーク内での構文に依存するメカニズム（例：Pascal）が、伝統的なRNNベースの構文統合を上回るかどうかを評価すること。
• 特に長文や低リソース言語対において、翻訳品質が一貫して向上することを示すこと。

提案手法

• 各トークンに対して、標準的な自己注意機構を変更し、従属関係の親の位置を組み込むことで、パラメータを必要としない新しいメカニズム「親スケールド自己注意（Pascal）」を提案する。
• 各トークンについて、クエリとキーの相互作用に加えて、親の中央位置を中心としたガウス関数を用いてスコアをスケーリングする。
• サブワードユニットをその親語の中央トークン位置にマッピングすることで、バイトパリティエンコーディング（BPE）を用いても構文的文脈を注入可能にする。
• Pascalは、単語埋め込みがまだ独立している最初のエンコーダー層に限定して適用する。これにより、構文的親情報を使って表現を豊かにする。
• 外部の依存解析を用いて親の位置を取得し、モデルのアーキテクチャやパラメータを変更せずに、注意メカニズムに位置バイアスとして利用する。
• ガウス重み関数を用いて親トークンに高い注意重みを割り当て、局所的注目と一般化のバランスを取るために、実験的に最適化された分散を設定する。

実験結果

リサーチクエスチョン

• RQ1 パラメータや計算コストを増加させることなく、Transformerモデルの自己注意機構に構文的情報を効果的に統合できるか？
• RQ2 最初のエンコーダー層に従属関係の親関係を統合することで、より良い単語表現が得られ、翻訳品質が向上するか？
• RQ3 Pascalは、LISA やRNNベースのアプローチと比較して、低リソースや長文シーケンスといったさまざまなデータ環境で優れているか？
• RQ4 Pascalの性能向上は、ドイツ語や日本語翻訳のような言語対の構文的複雑さに依存するか？
• RQ5 ガウス重み関数の分散といったハイパーパrameterの選択に対して、本手法は頑健か？

主な発見

• 遠隔翻訳タスク（En-Ja）において、Pascalは+3.5 BLEUポイントの向上を達成し、特に長文では低リソース設定で+2 BLEUポイントを超える向上を示す。
• 評価された全タスク（En-De、De-En、En-Tr、En-Ja）で一貫した改善を示し、多様な言語対やデータサイズにおいて堅牢であることを確認した。
• Pascalヘッドを最初の層に配置した場合に最高の性能が得られ、初期段階での構文的文脈化が単語表現学習を強化することを裏付けた。
• 注意重み関数の最適なガウス分散は1であり、これはBPEで処理されたデータにおける典型的なサブワード分割分布と整合する。
• ハイパーパrameterチューニングに対して非常に感受性が低く、En-DeからDe-Enにハイパーパrameterを移行しても、僅かに-0.2 BLEUポイントの低下にとどまるため、優れた一般化性能を示した。
• 特に低リソースおよび長文シーケンスの状況において、RNNベースの構文統合手法やLISAのような他の自己注意ベースのアプローチを上回る性能を発揮した。