[論文レビュー] Machine Translation at Booking.com: Journey and Lessons Learned

Pavel Levin, Nishikant Dhanuka+1 more|arXiv (Cornell University)|Jul 25, 2017

Natural Language Processing Techniques参考文献 11被引用数 8

ひとこと要約

この論文では、Booking.comが統計的機械翻訳（SMT）システムからニューラル機械翻訳（NMT）システムへの移行を提示し、自動評価および人間による評価を通じて検証している。NMTシステムはSMTシステムおよび一般向けエンジンを著しく上回っており、特に自然さと適切さの面で優れている。文の長さは両システムにおいて翻訳品質に顕著な負の影響を与えるが、NMTはより長い入力に対しても耐性が高いため、より頑健である。

ABSTRACT

We describe our recently developed neural machine translation (NMT) system and benchmark it against our own statistical machine translation (SMT) system as well as two other general purpose online engines (statistical and neural). We present automatic and human evaluation results of the translation output provided by each system. We also analyze the effect of sentence length on the quality of output for SMT and NMT systems.

研究の動機と目的

• 新しく開発されたニューラル機械翻訳（NMT）システムの、既存の統計的機械翻訳（SMT）システムおよび2つの一般向けオンライン翻訳エンジンとの性能比較を行うこと。
• SMTおよびNMTシステムにおける文の長さが翻訳品質に与える影響を分析すること。
• 自動評価および人間評価の両方を用いた包括的な比較を行うこと。
• 実際のeコマース環境におけるNMTの本番環境への導入に伴う実務的課題と学びを文書化すること。

提案手法

• Booking.comのドメイン固有のコンテンツに特化したカスタムニューラル機械翻訳（NMT）システムの開発および導入。
• 比較のためのベースラインとしての統計的機械翻訳（SMT）システムの実装。
• 2つの外部一般向けオンライン翻訳エンジン（1つは統計的、1つはニューラル）との統合およびベンチマーク評価。
• 翻訳品質評価のための自動評価指標（例：BLEU、METEOR）および人間評価の活用。
• 翻訳品質の耐性を評価するため、さまざまな文の長さにおける系統的な分析。
• 自然さ、適切さ、全体的な品質に焦点を当てた人間評価データの収集および分析。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化NMTシステムは、自社内SMTシステムおよび一般向けオンラインエンジンと比較して、どの程度の品質を示すか？
• RQ2 SMTおよびNMTシステムにおいて、文の長さが翻訳品質に与える影響は何か？
• RQ3 人間評価者は、NMTが生成する翻訳とSMTおよび外部エンジンの出力の自然さと適切さをどのように評価するか？
• RQ4 実世界のeコマース本番環境でNMTを導入するにあたり、主な課題と学びは何であったか？

主な発見

• カスタムNMTシステムは、自動評価および人間評価の両方において、自社内SMTシステムを上回っており、自然さと適切さの面で顕著な向上を示した。
• NMTシステムはSMTシステムおよび一般向けエンジンよりも高いBLEUおよびMETEORスコアを達成しており、自動評価性能が優れていることが示された。
• 人間評価により、NMTの翻訳はSMT出力よりも自然で適切であると評価され、統計的に有意な好まれ方であることが確認された。
• 長い文はSMTおよびNMTの両方のシステムにおいて翻訳品質に悪影響を与えるが、NMTシステムは文の長さの増加に対してより頑健であることが示された。
• 一般向けニューラルエンジンは一般向け統計エンジンよりも優れていたが、Booking.comのカスタムNMTシステムに比べると依然として劣っていた。