[論文レビュー] Paying Attention to Multi-Word Expressions in Neural Machine Translation

Matīss Rikters, Ondřej Bojar|arXiv (Cornell University)|Oct 17, 2017

Natural Language Processing Techniques参考文献 14被引用数 6

ひとこと要約

この論文は、合成平行MWEペアを用いた訓練データの拡張により、多語種表現（MWE）のニューラル機械翻訳（NMT）を向上させることを提案する。2つの戦略—孤立したMWEペアの追加と、MWEを含む完全な文の追加—を評価した結果、MWEペアを単独で追加したことで、MWE特化型テストセットでBLEUが0.99向上した。アライメント解析により、強化されたモデルではMWEに向けた注目が向上していることが確認された。

ABSTRACT

Processing of multi-word expressions (MWEs) is a known problem for any natural language processing task. Even neural machine translation (NMT) struggles to overcome it. This paper presents results of experiments on investigating NMT attention allocation to the MWEs and improving automated translation of sentences that contain MWEs in English->Latvian and English->Czech NMT systems. Two improvement strategies were explored -(1) bilingual pairs of automatically extracted MWE candidates were added to the parallel corpus used to train the NMT system, and (2) full sentences containing the automatically extracted MWE candidates were added to the parallel corpus. Both approaches allowed to increase automated evaluation results. The best result - 0.99 BLEU point increase - has been reached with the first approach, while with the second approach minimal improvements achieved. We also provide open-source software and tools used for MWE extraction and alignment inspection.

研究の動機と目的

• ニューラル機械翻訳（NMT）における多語種表現（MWE）の翻訳が不十分であるという課題に対処すること。特に、慣用的または固定された多語種フレーズを正確に維持できないことが問題視される。
• 低リソース言語対（英語–ラトビア語および英語–チェコ語）におけるNMTモデルが推論時にMWEにどのように注目を割り当てているかを調査すること。
• 自動抽出およびアラインメントされた平行MWEコーパスを用いて、訓練データにMWEを拡張することで、NMTのMWE性能を向上させること。
• 自動評価指標（BLEU）と注目配列の人的検査を併用して、合成MWEデータの影響を評価すること。
• MWE抽出、アラインメント可視化、NMTパイプラインへの統合を可能にするオープンソースツールのリリース

提案手法

• ルールベースのMWEツールキットを用いて、並列単語対訳コーパスおよび並列単語コーパスから候補MWEを抽出し、語彙的および文法的慣用的パターンに焦点を当てる。
• 2種類の合成訓練データを作成する：(1) 孤立したバイリンガルMWEペア、および (2) 抽出されたMWEを含む完全な文。両者ともBPEレベルでサブワード単位でアラインメントされる。
• WMT 2017の並列コーパスを用いて、英語–チェコ語および英語–ラトビア語対のベースラインNMTモデル（Neural Monkey）を、拡張された訓練データでファインチューニングする。
• 独自開発のウェブベースのツールを用いて、ソースおよびターゲットのBPEトークン間のソフト注目行列を可視化する。
• 既知のMWEを含む例文を用いて、ベースラインモデルと強化モデルの注目パターンを比較し、アラインメントの強度と一貫性に注目する。
• MWEに特化したテストセットにおけるBLEUスコアを用いて改善度を定量化し、翻訳品質および注目行動の人的検査を補足的に実施する。

実験結果

リサーチクエスチョン

• RQ1 NMTモデルは現在、多語種表現（MWE）にどのように注目を割り当てているのか。その注目行列にどのようなパターンが現れるのか。
• RQ2 訓練データに合成MWEペアを組み込むことで、自動的および人的な評価によって測定した場合に、NMTのMWE性能が向上するのか。
• RQ3 MWEを含む完全な文を訓練データに追加することで、孤立したMWEペアのみを追加する場合よりもより良い改善が得られるのか。
• RQ4 強化されたモデルは、ベースラインモデルと比較して、MWEの各要素に対してより集中的かつ一貫性のある注目を示すのか。
• RQ5 アラインメント可視化ツールは、データ拡張後のMWE翻訳の改善を効果的に明らかにできるのか。

主な発見

• 訓練データに孤立したバイリンガルMWEペアを追加したことで、最高の改善が得られ、MWE特化型テストセットでBLEUが0.99ポイント向上した。
• 完全な文を含むMWE拡張戦略は、性能向上が最小限にとどまり、この文脈では孤立MWEがデータ拡張においてより効果的であることが示された。
• 人的検査により、強化モデルが特定のMWE、例えば英語–ラトビア語翻訳における「network users」の翻訳をより正確に生成していることが確認された。
• 注目アラインメントの可視化により、改善されたモデルでは、ソースMWE語が正しいターゲット翻訳に向けた注目線が強く、集中していることが確認された。特に多語種ユニットにおいて顕著であった。
• ベースラインモデルでは、MWE要因に対して弱く散らばった注目が見られ、アラインメントに不確実性が示されていた。一方、強化モデルでは明確で一貫性のある注目パターンが観察された。
• オープンソースのMWE抽出およびアラインメント可視化ツールは、注目行動および翻訳品質の改善を検証するために効果的に使用された。