[論文レビュー] Translation Word-Level Auto-Completion: What can we achieve out of the box?

Yasmin Moslem, Rejwanul Haque+1 more|arXiv (Cornell University)|Oct 23, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

この論文は、事前学習モデルと市販のライブラリを用いて、微調整をほとんど行わずに機械翻訳におけるワードレベルのオートコンプリートを実現する手法を検討し、4つの言語対（Zh-En、En-Zh、De-En、En-De）で優れた性能を達成した。ランダムサンプリングを活用して多様なオートコンプリート候補を生成することで、翻訳作業の生産性を向上させる高品質な提案が得られ、特に微調整を必要としない点が特徴である。

ABSTRACT

Research on Machine Translation (MT) has achieved important breakthroughs in several areas. While there is much more to be done in order to build on this success, we believe that the language industry needs better ways to take full advantage of current achievements. Due to a combination of factors, including time, resources, and skills, businesses tend to apply pragmatism into their AI workflows. Hence, they concentrate more on outcomes, e.g. delivery, shipping, releases, and features, and adopt high-level working production solutions, where possible. Among the features thought to be helpful for translators are sentence-level and word-level translation auto-suggestion and auto-completion. Suggesting alternatives can inspire translators and limit their need to refer to external resources, which hopefully boosts their productivity. This work describes our submissions to WMT's shared task on word-level auto-completion, for the Chinese-to-English, English-to-Chinese, German-to-English, and English-to-German language directions. We investigate the possibility of using pre-trained models and out-of-the-box features from available libraries. We employ random sampling to generate diverse alternatives, which reveals good results. Furthermore, we introduce our open-source API, based on CTranslate2, to serve translations, auto-suggestions, and auto-completions.

研究の動機と目的

• 微調整を一切行わずに事前学習モデルを用いたワードレベルオートコンプリートの実現可能性を調査すること。
• 既存のライブラリのオールインクルーシブ機能が実際の翻訳ワークフローにおいてどの程度効果的であるかを評価すること。
• 多様で文脈に適したオートコンプリート候補を提供することで、翻訳者の生産性を向上させること。
• CTranslate2を基盤とした翻訳およびオートコンプリートの提供を目的としたオープンソースAPIの開発と公開すること。

提案手法

• Hugging Faceから提供される事前学習済みシーケンス・ツー・シーケンスモデルを用いてゼロショット推論を実施した。
• デコード段階でランダムサンプリングを適用し、多様なオートコンプリート候補を生成した。
• 翻訳モデルの効率的かつスケーラブルな推論とデプロイメントのためにCTranslate2を活用した。
• 翻訳、オートサジェッション、オートコンプリートを提供するオープンソースAPIを設計・公開した。
• WMT 2022の共有タスクにおけるワードレベルオートコンプリートの性能を、4つの言語方向で評価した。
• BLEUや人間評価といった標準的な指標を用いて、オートコンプリートの品質を評価した。

実験結果

リサーチクエスチョン

• RQ1 微調整を一切行わずに事前学習モデルが有効なワードレベルオートコンプリートを提供できるか？
• RQ2 デコード段階でのランダムサンプリングは、オートコンプリート候補の多様性と品質にどのように影響するか？
• RQ3 市販のライブラリやツールが翻訳オートコンプリートタスクにおいてどの程度の競争力を持つのか？
• RQ4 オートコンプリート候補は実際の翻訳作業環境で翻訳者の生産性にどの程度寄与するか？
• RQ5 実際のデプロイメントにおいて、モデルの複雑さと推論効率のトレードオフはどのようなものか？

主な発見

• 本手法は、WMT 2022の共有タスクにおけるワードレベルオートコンプリートにおいて、4つの言語対すべてで競争力のある性能を達成した。
• デコード段階でのランダムサンプリングにより、流暢さを損なわずにオートコンプリート候補の多様性が顕著に向上した。
• Hugging FaceとCTranslate2のオールインクルーシブモデルを活用することで、最小限の工数で高品質なオートコンプリートが実現した。
• オープンソースAPIは低レイテンシの推論と生産環境でのスケーラビリティを示した。
• 人間評価により、オートコンプリート候補が関連性があり、翻訳者にとって有用であることが確認され、外部リソースへの依存が減少した。
• 本システムは言語対を越えて優れた汎化性能を示しており、ゼロショットアプローチの堅牢性が裏付けられた。