[論文レビュー] Incremental Adaptation of NMT for Professional Post-editors: A User Study

Miguel Domingo, Mercedes García-Martínez+6 more|arXiv (Cornell University)|Jun 21, 2019

Natural Language Processing Techniques参考文献 40被引用数 11

ひとこと要約

本研究では、プロのポストエディターの修正をリアルタイムで反映するインクリメンタルでオンライン学習可能なニューラル機械翻訳（NMT）アプローチの評価を行った。このシステムはポストエディティング作業を著しく軽減し、翻訳品質（hTERおよびhBLEU）を向上させた。ポストエディターは、静的モデルと比較して、適応型システムのほうがより効果的で、作業が煩わしくないと感じた。

ABSTRACT

A common use of machine translation in the industry is providing initial translation hypotheses, which are later supervised and post-edited by a human expert. During this revision process, new bilingual data are continuously generated. Machine translation systems can benefit from these new data, incrementally updating the underlying models under an online learning paradigm. We conducted a user study on this scenario, for a neural machine translation system. The experimentation was carried out by professional translators, with a vast experience in machine translation post-editing. The results showed a reduction in the required amount of human effort needed when post-editing the outputs of the system, improvements in the translation quality and a positive perception of the adaptive system by the users.

研究の動機と目的

• プロの翻訳者から得た実際のポストエディットデータを用いて、オンライン学習によるNMTシステムの段階的適応がもたらす影響を評価すること。
• 継続的な人為的ポストエディットからの学習が、産業界の現場における翻訳品質およびポストエディティング生産性を向上させるかどうかを評価すること。
• 実世界の翻訳ワークフローにおいて、適応型NMTシステムと静的モデルを比較した場合のユーザーパーソナリティおよび使いやすさを調査すること。
• ドメイン固有用語の劣化やサブワード関連の語形成エラーといった、適応型NMTにおける実用的課題を同定すること。
• 翻訳メモリーや用語管理ツールとの統合経路を検討し、ポストエディティング生産性の向上を図ること。

提案手法

• 各ポストエディット文ごとにオンライン学習を用いてNMTシステムを段階的に更新し、新規の並列データ（元文およびポストエディット済み翻訳文）をリアルタイムで統合した。
• モデルはエンコーダ–デコーダアーキテクチャにアテンション機構を組み込み、大規模な並列コーパス上で確率的勾配降下法で学習した。
• 適応処理は各ポストエディティングセッションの直後に即座に適用され、修正内容がその後の翻訳に即座に反映された。
• システムはバイトペア符号化（BPE）を用いてサブワードトークン化を行ったが、これにより「absolvido」のような架空の単語が生成される問題が生じた。
• 3名の経験豊富なプロのポストエディターを対象に、実際の生産環境での静的モデルと適応型NMTシステムの比較を目的としたユーザースタディを実施した。
• 翻訳品質はhTERおよびhBLEU指標で評価し、ユーザーパーソナリティは研究終了後のアンケートで収集した。

実験結果

リサーチクエスチョン

• RQ1 オンライン学習によるNMTの段階的適応は、プロのワークフローにおいて静的システムと比較してポストエディティング作業を軽減するか？
• RQ2 実際の産業界のポストエディティング環境において、オンライン適応はhTERおよびhBLEU指標で測定された翻訳品質をどの程度向上させるか？
• RQ3 プロのポストエディターは、使いやすさ、スムーズさ、一貫性の観点から、適応型システムを静的モデルと比較してどのように評価するか？
• RQ4 ドメイン固有用語の誤った処理やサブワード分割エラーといった、ユーザーが適応型NMTで直面する主な課題は何か？
• RQ5 ユーザーは、翻訳行動の違いに基づいて、静的モデルと適応型モデルの違いを信頼性を持って検出できるか？

主な発見

• 適応型NMTシステムはポストエディティング時間と作業負荷を削減し、3名のプロポストエディター全員がより効率的で、作業が煩わしくないワークフローと報告した。
• 翻訳品質に顕著な改善が見られた：hTERは低下し、hBLEUは上昇し、静的ベースラインと比較して適応型システムを用いた場合に顕著であった。
• 研究終了後のアンケートで、全員が適応型システムを正しく識別した。これは、翻訳の一貫性とスムーズさに顕著な違いを感じ取ったことを示している。
• ポストエディターは、製品名、文法、語彙選択の修正が、その後の翻訳に反映されることを一貫して観察した。これにより、繰り返しの修正作業が削減された。
• ユーザーは静的システムがより不自然な翻訳を生成し、ときには役に立たないと感じた一方、適応型システムはより信頼性があり、役立つと感じた。
• 主な技術的問題として、ドメイン固有用語の誤った処理と、存在しない単語（例：'absolvido'）の生成が報告された。これは、おそらくBPEによるサブワード分割エラーに起因していると考えられる。