[論文レビュー] A Comparison of Approaches to Document-level Machine Translation

Zhiyi Ma, Sergey Edunov+1 more|arXiv (Cornell University)|Jan 26, 2021

Natural Language Processing Techniques参考文献 40被引用数 7

ひとこと要約

この論文は、複数のドキュメントレベル機械翻訳アプローチを評価し、単純な手法—モノリンガルドキュメントレベルデータのバックトランスレーション—が、DocRepair や NoisyChannelDoc のような計算コストの高い複雑なモデルと同等またはそれ以上の性能を示すことを発見した。主な貢献は、今後の研究のための強力で効率的なベースラインとして、ドキュメントレベルのモノリンガルデータのバックトランスレーションを確立することにある。

ABSTRACT

Document-level machine translation conditions on surrounding sentences to produce coherent translations. There has been much recent work in this area with the introduction of custom model architectures and decoding algorithms. This paper presents a systematic comparison of selected approaches from the literature on two benchmarks for which document-level phenomena evaluation suites exist. We find that a simple method based purely on back-translating monolingual document-level data performs as well as much more elaborate alternatives, both in terms of document-level metrics as well as human evaluation.

研究の動機と目的

• 標準化されたベンチマーク上で最先端のドキュメントレベル機械翻訳アプローチを体系的に比較すること。
• 特にバックトランスレーションを含むモノリンガルデータ拡張技術の有効性が、ドキュメントレベルの一貫性向上に寄与するかどうかを評価すること。
• 複雑なアーキテクチャーやデコードアルゴリズムが、単純なデータ拡張ベースラインよりも顕著な向上をもたらすかどうかを評価すること。
• ドキュメントレベルの一貫性メトリクスと人間評価が、文単位モデルとは対照的な文脈に配慮した翻訳システムを区別するのにどの程度有効であるかを検証すること。
• 今後のドキュメントレベルMT研究のための強力でシンプルなベースラインを確立すること。

提案手法

• 著者らは、ターゲット言語側のモノリンガルドキュメントを元の言語に再翻訳することで合成平行データを生成する、標準的なエンコーダー・デコーダー・モデルをバックトランスレーションされたモノリンガルドキュメントレベルデータで学習した。
• この手法（DocBT）を、DocRepair（不一致の是正のための往復翻訳） や NoisyChannelDoc（ドキュメントレベル言語モデルを用いたニューラルノイズチャンネルモデリング）といったより複雑なアプローチと比較した。
• 評価には、標準的なBLEUスコア、ドキュメントレベルの一貫性メトリクス（例：代名詞の共参照）、および100件のランダムに抽出されたテスト例についての人間の好み評価が含まれる。
• 研究では2つのベンチマークデータセットを用いた：WMT17 英語→ドイツ語と、代名詞選択のための対照的テストセット。
• 結果は、BLEUスコア（フォワード翻訳されたテストセット上で）、逆方向BLEU（人間の判断との相関問題を軽減するため）を含む複数のメトリクスで分析された。
• 人間評価では、DocBTと文単位ベースライン（Sent）およびより複雑なモデル（NoisyChannelDoc）との間での好みが評価された。

実験結果

リサーチクエスチョン

• RQ1 モノリンガルドキュメントレベルデータのバックトランスレーションは、複雑で特化したアーキテクチャと比較して、競争力のあるドキュメントレベル翻訳性能を達成できるか？
• RQ2 ドキュメントレベルの一貫性メトリクスと人間評価は、文単位モデルとは対照的な文脈に配慮したモデルを区別するのにどの程度有効か？
• RQ3 追加のモノリンガルデータや複雑なデコード戦略が、単純なデータ拡張の上での性能向上にどの程度寄与するか？
• RQ4 特にフォワード翻訳されたテストセットにおいて、BLEUはドキュメントレベル翻訳の評価に信頼できるメトリクスか？
• RQ5 DocBT のような単純で効率的な手法が、NoisyChannelDoc や DocRepair よりも人間の好み評価で優れているか？

主な発見

• バックトランスレーションされたモノリンガルドキュメントレベルデータを用いたDocBT手法は、WMT17 英語→ドイツ語翻訳において、NoisyChannelDoc や DocRepair といったより複雑なモデルと同等またはそれ以上のBLEUスコアを達成した。
• 対照的代名詞選択タスクでは、DocBTは0.81の一貫性スコアを達成し、文単位ベースライン（0.50）を上回り、DocRepair（0.80）と同等の性能を示した。
• 人間の好み評価では、DocBTは文単位ベースライン（p=0.05）を有意に上回り、NoisyChannelDocに対しても強い好みが示された。1回目の評価では62％の評価者がDocBTを好んだが、2回目の評価では60％がDocBTを選んだ。
• Doc2Docモデルにモノリンガルドキュメントデータを追加した（Doc2Doc + DocBT）ことで性能が向上したが、さらにモノリンガルデータを追加してもDocBTのベースライン性能を超えることはなかった。
• NoisyChannelDocは一貫性メトリクス（0.62）と人間評価（32％の好み）の両方で低く、文単位モデルからのn-bestリスト生成の限界が顕著に現れた。
• ドイツ語→英語のnewstest2019における逆方向BLEUスコアは、DocBTおよびDocBT + Doc2Docが最高スコアを記録し、標準BLEUが信頼性に欠けるフォワード翻訳データセットでも強力な性能を示した。