[論文レビュー] What does Attention in Neural Machine Translation Pay Attention to?

Hamidreza Ghader, Christof Monz|UvA-DARE (University of Amsterdam)|Oct 9, 2017

Natural Language Processing Techniques参考文献 20被引用数 11

ひとこと要約

この論文は、ニューラル機械翻訳（NMT）におけるアテンション機構を、従来の語の対応付けと比較することで分析し、アテンションが翻訳同等語だけを捉えるのではなく、より多くの情報を含んでいることを明らかにした。アテンションは、特に動詞において対応付けから逸脱し、主語、目的語、助動詞などの文法的文脈に注目することで、対応付けを越えたより洗練された言語的構造を学習していることが示された。これは、アテンションを従来の対応付けに合わせて強制すると、特定の品詞において性能が低下する理由を説明している。

ABSTRACT

Attention in neural machine translation provides the possibility to encode relevant parts of the source sentence at each translation step. As a result, attention is considered to be an alignment model as well. However, there is no work that specifically studies attention and provides analysis of what is being learned by attention models. Thus, the question still remains that how attention is similar or different from the traditional alignment. In this paper, we provide detailed analysis of attention and compare it to traditional alignment. We answer the question of whether attention is only capable of modelling translational equivalent or it captures more information. We show that attention is different from alignment in some cases and is capturing useful information other than alignments.

研究の動機と目的

• NMTモデルにおけるアテンション機構が、翻訳同等語の他に、対応付けを越えた追加の言語的情報を捉えているかどうかを調査すること。
• さまざまな品詞（品詞タグ）におけるアテンション行動と従来の語の対応付けの違いを比較すること。
• アテンションに明示的な対応付けラベルを用いて学習させることで、すべての品詞タイプにおいて翻訳品質が向上するかどうかを検証すること。
• 生成中のターゲット語の文法的役割に応じて、アテンション分布がどのように変化するかを分析すること。
• 先行研究でアテンションに対応付けラベルを用いたガイドラインを適用しても結果が混合する理由を理解すること。

提案手法

• 著者たちは、RWTH IWSLT 2015 英語-ドイツ語翻訳データセット上で、トレーニング済みのNMTモデルのアテンション分布を分析した。
• 各アテンション分布について、ParZuの依存解析器を用いて、ソース側の依存関係役割（例：主語、目的語、助動詞）を抽出した。
• 各ターゲット語について、GIZA++/fast_alignに基づく対応付け済み語と非対応付け語に割り当てられたアテンション確率質量を計算した。
• アテンションエントロピーと語予測損失の相関を測定することで、アテンションの集中度とモデルの自信度を評価した。
• 品詞タグと依存関係役割ごとにアテンション寄与度を分類し、アテンション分布のパターンを特定した。
• アテンション機構（例：加法的、ドット積）の違いを比較し、従来の対応付けに従うかどうかを評価した。

実験結果

リサーチクエスチョン

• RQ1 NMTにおけるアテンション機構は、どの程度従来の語の対応付けと一致するのか。これは品詞タグによってどのように変化するか。
• RQ2 アテンションは翻訳同等語のみをモデル化しているのか、それとも文法的・文脈的情報を同時にエンコードしているのか。
• RQ3 一部の研究では、対応付けラベルを用いたアテンションの学習で翻訳品質が向上するのに対し、他の研究では向上しないのはなぜか。
• RQ4 内容語（例：名詞）と機能語（例：動詞、代名詞）におけるアテンション分布はどのように異なるか。
• RQ5 依存関係（例：主語、目的語、助動詞）は、語の対応付けを超えてアテンションをどのように形作っているか。

主な発見

• 名詞においては、アテンションの68％が対応付けポイントに集中しており、対応付けガイドラインが内容語において有益であることが示された。
• 動詞においては、アテンションの49％が対応付けポイントに集中しており、残りの51％が主語、目的語、助動詞などの文法的文脈に向けられている。これは、アテンションが翻訳同等語を超えた情報を捉えていることを示している。
• 代名詞と助詞では、それぞれ36％および64％が非対応付けポイントに集中しており、これはアテンションが誤りに起因するのではなく、関連する文脈に広がっていることを示唆している。
• 代名詞と助詞においては、アテンションエントロピーと語予測損失の相関が低く、分散したアテンションがノイズではなく予測の自信を高めていることが示された。
• アテンションに対応付けラベルを用いて学習させると、動詞の性能が悪化する。これは、非対応付けアテンションが捉えた有用な文脈的情報を無視させてしまうためである。
• アテンションのパターンは、ターゲット語の品詞タグに強く依存しており、動詞は最も複雑で文脈に敏感なアテンション行動を示している。