[論文レビュー] Improving Back-Translation with Uncertainty-based Confidence Estimation

Shuo Wang, Yang Liu+3 more|arXiv (Cornell University)|Aug 31, 2019

Natural Language Processing Techniques参考文献 45被引用数 9

ひとこと要約

本稿では、モンテカルロドロップアウトを用いて単語レベルおよび文レベルでのモデルの不確実性を定量化することで、低資源ニューラル機械翻訳におけるバックトランスレーションにおける不確実性ベースの信頼度推定を提案する。予測分散から得られる信頼度スコアを用いてノイズの多い合成単語訳文をフィルタリングすることで、ラベル付きデータや外部モデルを必要とせずに中国語-英語および英語-ドイツ語タスクにおいて翻訳性能が顕著に向上する。

ABSTRACT

While back-translation is simple and effective in exploiting abundant monolingual corpora to improve low-resource neural machine translation (NMT), the synthetic bilingual corpora generated by NMT models trained on limited authentic bilingual data are inevitably noisy. In this work, we propose to quantify the confidence of NMT model predictions based on model uncertainty. With word- and sentence-level confidence measures based on uncertainty, it is possible for back-translation to better cope with noise in synthetic bilingual corpora. Experiments on Chinese-English and English-German translation tasks show that uncertainty-based confidence estimation significantly improves the performance of back-translation.

研究の動機と目的

• 低リソースニューラル機械翻訳におけるバックトランスレーション中に生成されるノイズの多い合成二国語データの問題に対処すること。
• 外部モデルやラベル付きデータに依存せずに、モデルの不確実性を定量化する信頼度推定手法を開発すること。
• 不確実性に配慮した信頼度スコアを用いて、低信頼度で誤りを含む可能性の高い合成翻訳文をフィルタリングすることで、バックトランスレーションを改善すること。
• 異なるNMTアーキテクチャおよび言語対に普遍的に適用可能な手法を実現すること。

提案手法

• 複数回の順方向伝搬をモンテカルロドロップアウトを用いてサンプリングし、単語および文レベルでの翻訳確率の分散を推定する。
• ドロップアウトサンプルから得られる予測分散（VAR）およびエントロピーに基づく指標（CEV）を用いて単語レベルの信頼度を計算する。
• 重み付き平均化および正規化を用いて単語レベルの信頼度を文レベルの信頼度スコアに集約する。
• 信頼度の閾値を適用し、再訓練の前に低信頼度の合成翻訳文ペアをフィルタリングする。
• 最終的な学習データから低信頼度の合成文ペairを除外することで、信頼度推定をバックトランスレーションパイプラインに統合する。
• 本物の二国語データでターゲット→ソースモデルを学習した後、それを用いてモノリンガルデータから合成ソース文を生成し、実データと組み合わせる前に信頼度フィルタリングを適用する。

実験結果

リサーチクエスチョン

• RQ1 モンテカルロドロップアウトによる不確実性推定は、バックトランスレーションにおける信頼できないNMT予測を効果的に特定できるか？
• RQ2 不確実性ベースの信頼度フィルタリングは、低リソース環境における合成二国語データの質をどのように向上させるか？
• RQ3 不確実性ベースの信頼度推定は、ラベル付きデータを必要とせずに、異なるNMTアーキテクチャおよび言語対に普遍的に適用可能か？
• RQ4 難易度の高い語に焦点を当てた既存のデータ選択戦略（例：困難語のターゲット）と不確実性ベースのフィルタリングを組み合わせることでさらなる改善が得られるか？
• RQ5 予測分散やエントロピーなどの異なる不確実性ベースの信頼度指標（例：VAR、CEV）は、翻訳エラーを特定する上でどのように比較されるか？

主な発見

• 提案手法の不確実性ベースの信頼度推定は、中国語-英語および英語-ドイツ語翻訳タスクにおけるバックトランスレーション性能を顕著に向上させる。
• IWSLT14 英語-ドイツ語翻訳タスクでは、BLEUスコアが31.17に達し、ベースライン比で1.25ポイント向上した。
• IWSLT14 中国語-英語翻訳タスクでは、BLEUスコアが30.72に達し、ベースライン比で1.18ポイント向上した。
• NIST06 英語-ドイツ語テストセットでは、データ選択を適用した場合のBLEUが46.60から、不確実性フィルタリングを組み合わせた場合に47.18に向上した。
• 分散に基づく信頼度指標（VAR、CEV）は、PTPおよびEXPよりも低信頼度で誤りを含む予測を特定する上で優れた性能を示した。
• 本手法は、困難語に焦点を当てた高度なデータ選択技術と組み合わせても効果を発揮し、既存のバックトランスレーション強化手法と高い相性であることが示された。