[論文レビュー] Attention-based Vocabulary Selection for NMT Decoding

Baskaran Sankaran, Markus Freitag+1 more|arXiv (Cornell University)|Jun 12, 2017

Natural Language Processing Techniques参考文献 13被引用数 5

ひとこと要約

本稿では、ニューラル機械翻訳（NMT）の学習中に注意重みから直接的にターゲット語彙候補リストを学習する新しい手法を提案する。外部ツール（語句表や語の対応付けツールなど）に依存することなく、注意重みを集積してスパースな対応行列を作成し、各ソース語ごとに上位の候補を選択することで、2つの言語対で翻訳品質に損なわれることなく最大7倍のデコード速度向上を達成。単語あたり100候補のみを用いる。

ABSTRACT

Neural Machine Translation (NMT) models usually use large target vocabulary sizes to capture most of the words in the target language. The vocabulary size is a big factor when decoding new sentences as the final softmax layer normalizes over all possible target words. To address this problem, it is widely common to restrict the target vocabulary with candidate lists based on the source sentence. Usually, the candidate lists are a combination of external word-to-word aligner, phrase table entries or most frequent words. In this work, we propose a simple and yet novel approach to learn candidate lists directly from the attention layer during NMT training. The candidate lists are highly optimized for the current NMT model and do not need any external computation of the candidate pool. We show significant decoding speedup compared with using the entire vocabulary, without losing any translation quality for two language pairs.

研究の動機と目的

• NMTデコード時のフル語彙ソフトマックス処理にかかる高い計算コストに対処すること。
• 語句表や語の対応付けツールなどの外部ツールに依存せずに、候補リストを生成すること。
• 注目メカニズムから学習した、モデル固有の動的候補リストを用いてデコード効率を向上させること。
• 注目に基づく候補選択が、従来の外部で計算された候補プールと同等またはそれ以上の性能を達成できるかどうかを検証すること。
• 注目から導かれる対応関係を用いて、訓練中に動的語彙選択を可能にすること。

提案手法

• 訓練ステップにわたって正規化された注目重みを集積し、モデルが暗黙的に学習したソース語からターゲット語への対応関係を追跡するスパースな対応行列を作成する。
• 各ソース語に対して、集積された注目重みが最も高い上位n語のターゲット語を候補として選択し、動的候補リストを形成する。
• 正規化された対応回数を用いて、エポックごとまたはミニバッチごとに定期的に候補リストを更新し、古くなった確率を避ける。
• デコード時、ソフトマックス処理を学習済みの候補語に限定することで、計算時間を顕著に短縮する。
• 弱い対応をフィルタリングするため、閾値（α_thr = 0.1）を用い、高信頼度の注目パターンに焦点を当てる。
• この手法は訓練時および推論時にも適用され、候補リストはモデルの現在のパラメータに適応される。

実験結果

リサーチクエスチョン

• RQ1 注目重みのみを用いて、NMTデコード用に効果的でモデル固有の候補リストを学習できるか？
• RQ2 注目に基づく候補選択は、語句表やビタビ対応付けなどの外部リソースに依存する従来手法を上回るか、同等の性能を達成できるか？
• RQ3 翻訳品質を維持しつつデコード速度を最大化するための、1語あたりの最適な候補数は何か？
• RQ4 訓練中に動的語彙選択を実施することで、モデル性能を損なわず効率を向上させられるか？
• RQ5 注目重み集積のための閾値（α_thr）は、速度と精度のトレードオフにどのように影響するか？

主な発見

• 提案手法は、フルターゲット語彙を使用する場合と比較して、デコード速度が最大7倍向上したが、BLEUやTERスコアに損なわれることなく維持された。
• 単語あたり100の上位候補を使用した場合、フル語彙とほぼ同等の翻訳品質が得られ、英語→イタリア語タスクではBLEUスコア29.6を達成した。
• 語句表やビタビ対応付けなどの外部リソースに依存する従来の候補選択技術よりも優れるか、同等の性能を示した。
• 外部の静的対応付けから導かれるリストとは異なり、注目重みから学習した候補リストは、より適応的で、高得点語を逃す可能性が低かった。
• このアプローチは言語対にわたり頑健であり、英語→ドイツ語および英語→イタリア語の両タスクで性能劣化を伴わず一貫した高速化を示した。
• 注目重みから導かれる対応関係に基づく訓練中の動的語彙選択は、効果的であり、外部ツールへの依存を回避できる。