[論文レビュー] "Bilingual Expert" Can Find Translation Errors

Kai Fan, Jiayi Wang+4 more|arXiv (Cornell University)|Jul 25, 2018

Natural Language Processing Techniques参考文献 20被引用数 3

ひとこと要約

本論文は、大規模な並列コーパスで事前学習された双方向トランスフォーマーを用いた条件付きターゲット言語モデルである、新しいニューラルバイリンガルエキスパートモデルを提案する。このモデルは、ゴールデンリファレンスが存在しない翻訳品質推定（QE）のための共同ソース・ターゲット表現を抽出することを目的としている。これらの特徴量を4次元の不一致特徴量とBi-LSTM予測器と組み合わせることで、WMT 2017/2018のQEベンチマークで最先端の性能を達成し、ゼロリファレンスQEの強力な性能と、統合的品質推定および自動後処理への潜在的応用を示している。

ABSTRACT

Recent advances in statistical machine translation via the adoption of neural sequence-to-sequence models empower the end-to-end system to achieve state-of-the-art in many WMT benchmarks. The performance of such machine translation (MT) system is usually evaluated by automatic metric BLEU when the golden references are provided for validation. However, for model inference or production deployment, the golden references are prohibitively available or require expensive human annotation with bilingual expertise. In order to address the issue of quality evaluation (QE) without reference, we propose a general framework for automatic evaluation of translation output for most WMT quality evaluation tasks. We first build a conditional target language model with a novel bidirectional transformer, named neural bilingual expert model, which is pre-trained on large parallel corpora for feature extraction. For QE inference, the bilingual expert model can simultaneously produce the joint latent representation between the source and the translation, and real-valued measurements of possible erroneous tokens based on the prior knowledge learned from parallel data. Subsequently, the features will further be fed into a simple Bi-LSTM predictive model for quality evaluation. The experimental results show that our approach achieves the state-of-the-art performance in the quality estimation track of WMT 2017/2018.

研究の動機と目的

• ゴールデンリファレンス翻訳が入手困難である現実世界の展開において、翻訳品質推定（QE）の課題に対処すること。
• 大規模な並列コーパスを事前知識として活用する汎用的フレームワークを、自動QEのために開発すること。
• 低品質な翻訳における挿入・削除のギャップ予測に条件付き言語モデルを訓練することで、品質推定と自動後処理（APE）を統合すること。
• 予測されたトークンと実際の翻訳トークンの間の学習済み不一致特徴量と、事前学習されたバイリンガル特徴量を組み合わせることで、QE性能を向上させること。
• 1つの事前学習済みモデルを用いてQEとAPEの両方を実行する可能性を示し、別々のタスク特化モデルへの依存を減らすこと。

提案手法

• 大規模な並列単語彙コーパス上で双方向トランスフォーマーのデコーダーを用いて、ニューラルバイリンガルエキスパートモデルを事前学習し、共同ソース・ターゲット潜在表現を学習する。
• 事前学習済みモデルを用いて、ソース文を入力としたもとでターゲットトークンの条件付き確率分布を生成し、欠落または誤ったトークンのギャップ予測を可能にする。
• 各トークン位置において、モデルが予測したトークン分布と実際の機械翻訳出力との比較から、4次元の不一致特徴量を抽出する。
• 抽出された特徴量（モデル由来および不一致特徴量）を、エンドツーエンド品質推定を実現するシンプルなBi-LSTMアーキテクチャに供給する。
• BPEトークン化をサポートするため、単語ごとのサブワード特徴量を平均化するための学習可能なスパース行列を用い、分割処理を微分可能に保つ。
• ギャップ予測による挿入／削除操作のモデリングにより、QEとAPEの共同学習を拡張する。今後の課題として、エンドツーエンド最適化の実現を検討。

実験結果

リサーチクエスチョン

• RQ1 並列データに基づく事前学習済み条件付き言語モデルが、ゼロリファレンス翻訳品質推定の強力な事前知識として機能できるか？
• RQ2 ゴールデンリファレンスが存在しない状況下で、4次元の不一致特徴量は翻訳エラーをどれほど効果的に検出できるか？
• RQ3 同じ事前学習済みバイリンガルモデルを、品質推定と自動後処理の両方の目的に使用できるか？
• RQ4 BPEトークン化はQE性能を向上させるか？また、微分可能な操作を伴う特徴抽出パイプラインにどのように統合できるか？
• RQ5 1つの事前学習済みモデルを用いて、QEとAPEを統合的に最適化するフレームワークを構築できるか？

主な発見

• 提案手法は、WMT 2017および2018年の翻訳品質推定ベンチマークで、多数の公開データセットにおいて最先端の性能を達成した。
• 追加のモデルファインチューニングなしに4次元の不一致特徴量のみを用いても、競争力ある結果を達成しており、特徴設計の堅牢性を示している。
• BPEトークン化の導入により、特に予測スコアのしきい値チューニングを適用した場合、単語レベルラベル付けタスクにおけるQE性能が向上した。
• 事前学習済みバイリンガルエキスパートモデルは、欠落トークンのギャップ予測を可能にし、これは直接的に自動後処理に利用可能であるため、QEとAPEの統合的アプローチを示唆している。
• BPEトークン化下でも微分可能な特徴抽出が可能であるため、将来的にQEとAPEコンponentの共同学習が実現可能となる。
• ゴールデンリファレンスが存在しない状況下で翻訳エラーを検出できる能力により、本モデルは実世界の生産環境MTシステムへの展開に適している。