[論文レビュー] Simplify-then-Translate: Automatic Preprocessing for Black-Box Machine Translation

Sneha Mehta, Bahareh Azarnoush+5 more|arXiv (Cornell University)|May 22, 2020

Text Readability and Simplification参考文献 29被引用数 12

ひとこと要約

本論文では、低リソース言語対におけるブラックボックス機械翻訳（BBMT）の性能を向上させる手法を提案する。この手法は、文の単純化を自動で行う前処理により、元の文を処理する。高リソース言語対を用いたバックトランスレーションにより、大規模なドメイン特化型の並び替えコーパスを生成し、それを用いてエンドツーエンドの自動前処理（APP）モデルを学習する。このモデルは、複雑で慣用的である英語文を、より直訳に近い、翻訳に適した形に単純化する。その結果、非前処理入力と比較してBLEUスコアと人間評価の両面で顕著な向上が得られた。

ABSTRACT

Black-box machine translation systems have proven incredibly useful for a variety of applications yet by design are hard to adapt, tune to a specific domain, or build on top of. In this work, we introduce a method to improve such systems via automatic pre-processing (APP) using sentence simplification. We first propose a method to automatically generate a large in-domain paraphrase corpus through back-translation with a black-box MT system, which is used to train a paraphrase model that "simplifies" the original sentence to be more conducive for translation. The model is used to preprocess source sentences of multiple low-resource language pairs. We show that this preprocessing leads to better translation performance as compared to non-preprocessed source sentences. We further perform side-by-side human evaluation to verify that translations of the simplified sentences are better than the original ones. Finally, we provide some guidance on recommended language pairs for generating the simplification model corpora by investigating the relationship between ease of translation of a language pair (as measured by BLEU) and quality of the resulting simplification model from back-translations of this language pair (as measured by SARI), and tie this into the downstream task of low-resource translation.

研究の動機と目的

• ファインチューニングが不可能なブラックボックスMTシステムにおける低リソース機械翻訳の課題に対処すること。
• BBMTシステムが処理しにくい慣用的・非構成的表現の翻訳品質を向上させること。
• バックトランスレーションから得た合成平行コーパスを用いて、データ駆動型の文単純化モデルを学習する汎用的で一般化可能な手法を開発すること。
• 下流の低リソース翻訳タスクにおいて、最適な単純化モデル品質を得るために、高リソース言語対の選定を支援すること。

提案手法

• 高リソースのターゲット言語の翻訳文を英語にバックトランスレーションし、合成平行文ペア（元の文：単純化された文、参照：元の複雑な文）を生成する。
• 合成平行コーパス上でエンドツーエンドのシーケンス・ツー・シーケンスモデル（APP）を学習させ、複雑な元文をより単純で構成的である形に単純化する能力を学習させる。
• 学習済みのAPPモデルを用いて、ブラックボックスMTシステムに供給する前に元の文を前処理し、意味を保持しながら翻訳のスムーズさを向上させる。
• 元言語が同一であれば、複数の低リソース言語対に同じAPPモデルを適用可能であり、モデルの転送性を実現する。
• 自動評価指標（BLEU、SARI）、並列人間評価、および修正作業の効率性を用いて性能を評価する。
• 高リソース言語対の翻訳のしやすさ（BLEU）と、その言語対から得られる単純化モデルの品質（SARI）との関係を分析し、コーパス選定の根拠とする。

実験結果

リサーチクエスチョン

• RQ1 自動前処理による文単純化は、低リソース言語対におけるブラックボックスMTシステムの翻訳品質を向上させることができるか？
• RQ2 バックトランスレーションを用いて学習された単純化モデルの品質は、データ収集に用いられた高リソース言語対の翻訳のしやすさとどのように相関するか？
• RQ3 元の文を単純化することで、人間による評価の高い翻訳が得られ、修正作業の負荷が軽減されるか？
• RQ4 どの高リソース言語対が、特定のターゲット言語に対して最も効果的な単純化モデルを生成するか？

主な発見

• APPモデルを用いて元の文を前処理することで、複数の低リソース言語対でBLEUスコアが顕著に向上した。
• 並列人間評価により、単純化された文の翻訳が元の文の翻訳よりも、スムーズさと適切さの両面で高い評価を得た。
• 修正作業の効率性が向上し、人間の修正作業者が単純化された入力の翻訳を修正する際に必要な作業量が減少した。
• 高リソース言語対のBLEUスコアと、その言語対から得られる単純化モデルのSARIスコアとの間に強い正の相関が確認された。これは、翻訳が容易な言語対から得られるデータが、より優れた単純化モデルを生成することを示している。
• 元言語が同一であれば、低リソース言語対にわたってモデルが一般化可能であり、1つのAPPモデルを再利用可能である。
• 本手法により、並列単純化データが不要な状態で、ドメイン特化型のデータ駆動型単純化モデルを構築できる。バックトランスレーションによる高リソース対からのみのデータで十分である。