[論文レビュー] Toward a full-scale neural machine translation in production: the Booking.com use case

Pavel Levin, Nishikant Dhanuka+3 more|arXiv (Cornell University)|Sep 18, 2017

Natural Language Processing Techniques参考文献 15被引用数 8

ひとこと要約

本論文では、大規模な並列コーパスとドメイン固有のチューニングを用いて最適化された、旅行ドメインに特化した生産スケールのニューラル機械翻訳（NMT）システムを提示する。Adamと学習率の減少を組み合わせ、名前付きエンティティの前処理、および誤り検出のためのビジネス感受性フレームワークを適用することで、BLEUスコアのみに依存する評価よりも優れた品質評価が可能であることが示された。人的評価では、1000万文の学習コーパスがBLEUスコアがこのトレンドを反映しないにもかかわらず、翻訳品質を向上させることを明らかにした。

ABSTRACT

While some remarkable progress has been made in neural machine translation (NMT) research, there have not been many reports on its development and evaluation in practice. This paper tries to fill this gap by presenting some of our findings from building an in-house travel domain NMT system in a large scale E-commerce setting. The three major topics that we cover are optimization and training (including different optimization strategies and corpus sizes), handling real-world content and evaluating results.

研究の動機と目的

• 大規模な電子商取引環境における旅行ドメインに特化したスケーラブルで高品質なNMTシステムの開発。
• 単一GPUおよびマルチGPU環境における最適化手法（SGD、Adam、Adagrad、Adadelta）の収束速度および翻訳品質を比較する。
• 名前付きエンティティの前処理とBPEトークン化による希少語の処理を実施し、翻訳品質を向上させる。
• 自動評価（BLEU）と人的評価を組み合わせた包括的な評価パイプラインを構築し、特に重要な要因（例：駐車場、ペット可）の不一致を検出するビジネス感受性フレームワークを導入する。
• BLEUスコアのみではNMTシステムの改善を追跡できないことが、特にドメイン固有の文脈において明らかになることの証明。

提案手法

• OpenNMTを用いて、双方向LSTMエンコーダーとデコーダー、残差接続、ドロップアウト（0.3）を備えたエンコーダーデコーダーNMTモデルを学習した。
• ヨーロッパ言語向けに、入力フィードバックアテンションとケース特徴を適用し、アライメントとスムーズさの向上を図った。
• 稀な語とOOV語の処理のため、バイトペアエンコーディング（BPE）を用い、低リソースおよびドメイン固有語彙の一般化を向上させた。
• ホテルのアメニティや場所などの名前付きエンティティを、word2vecベースのシード拡張とキーワードマッチングを用いて前処理し、翻訳の正確性を向上させた。
• ソースおよびターゲットの2つの線形モデル分類器を用いて、重要な側面（例：駐車場、ペット可）の不一致を検出するビジネス感受性フレームワーク（BSF）を実装した。
• BLEUスコアの自動評価と人的評価（適切性とスムーズさ）を組み合わせ、ホールドアウトセットを用いてBSFの性能を検証した。

実験結果

リサーチクエスチョン

• RQ1 旅行ドメイン向けNMTシステムにおいて、単一GPU環境での最適化アルゴリズム（SGD、Adam、Adagrad、Adadelta）の収束速度および翻訳品質は、どのように比較されるか？
• RQ2 学習用並列コーパスのサイズを100万文から1000万文に増加させることで、人的評価およびBLEUスコアで測定した翻訳品質はどの程度向上するか？
• RQ3 BPEトークン化および名前付きエンティティの前処理は、希少語およびドメイン固有語彙の翻訳品質向上にどの程度有効か？
• RQ4 生産用NMTシステムにおいて、BLEUスコアと人的評価（スムーズさおよび適切性）の相関はどの程度高いか？
• RQ5 ビジネス感受性フレームワークは、標準的な指標が見逃す可能性のある深刻な翻訳誤り（例：アメニティ情報の誤り）を効果的に検出できるか？

主な発見

• エポック15以降、学習率の減少を伴うSGDが、BLEUスコアおよびパープレクシティの両面でAdamおよびAdadeltaを上回ったが、Adamは初期段階での収束が速かった。
• Adagradは性能が著しく低く、20エポック経過後もBLEUスコアはたったの3.14にとどまり、一方SGDは46.58のBLEUスコアを達成した。
• ビジネス感受性フレームワークは、英語→ドイツ語翻訳における「駐車場の有無」の誤り検出で97％のF1スコアを達成し、全カテゴリで高い正確性と再現率を示した。
• 人的評価では、1000万文の学習コーパスが最も高い適切性およびスムーズさスコアをもたらしたが、BLEUスコアはこの向上を反映していなかった。
• BLEUスコアと人的評価指標の間には弱い相関関係が認められ、ドメイン固有の文脈ではBLEUスコアのみでは実世界の翻訳品質を適切に代理できないことが示された。
• 非同期SGD並列化により、トレーニング時間が顕著に短縮され、生産スケールのNMT開発における反復サイクルの高速化が可能になった。