[論文レビュー] Understanding Pre-Editing for Black-Box Neural Machine Translation

Rei Miyata, Atsushi Fujita|arXiv (Cornell University)|Feb 5, 2021

Natural Language Processing Techniques参考文献 28被引用数 4

ひとこと要約

本研究は、3つの翻訳方向、2つのNMTシステム、4つのテキストドメインを対象に、6,652件の前処理編集事例を収集することで、ブラックボックス型ニューラル機械翻訳（NMT）における人間による前処理編集実践を調査した。その結果、文の意味の明確化や文構造の明示性を高めることの方が、文の簡略化や短縮よりも翻訳品質の向上に効果的であることが明らかになった。また、全体としての予測困難さにもかかわらず、さまざまな編集操作がNMT出力品質に与える影響に一貫したパターンが存在することが判明した。

ABSTRACT

Pre-editing is the process of modifying the source text (ST) so that it can be translated by machine translation (MT) in a better quality. Despite the unpredictability of black-box neural MT (NMT), pre-editing has been deployed in various practical MT use cases. Although many studies have demonstrated the effectiveness of pre-editing methods for particular settings, thus far, a deep understanding of what pre-editing is and how it works for black-box NMT is lacking. To elicit such understanding, we extensively investigated human pre-editing practices. We first implemented a protocol to incrementally record the minimum edits for each ST and collected 6,652 instances of pre-editing across three translation directions, two MT systems, and four text domains. We then analysed the instances from three perspectives: the characteristics of the pre-edited ST, the diversity of pre-editing operations, and the impact of the pre-editing operations on NMT outputs. Our findings include the following: (1) enhancing the explicitness of the meaning of an ST and its syntactic structure is more important for obtaining better translations than making the ST shorter and simpler, and (2) although the impact of pre-editing on NMT is generally unpredictable, there are some tendencies of changes in the NMT outputs depending on the editing operation types.

研究の動機と目的

• ブラックボックス型NMTシステムにおける人間による前処理編集が翻訳品質にどのように向上するかを理解すること。
• 前処理済みのソーステキストの特徴とそれらがNMT出力に与える影響を調査すること。
• さまざまな前処理編集操作の多様性とNMTパフォーマンスへの影響を分析すること。
• NMT向けに堅牢な前処理戦略および自動ツールを開発するための実証的知見を提供すること。

提案手法

• 3つの翻訳方向にわたる6,652件のソーステキスト事例に対して、最小限の必要編集を段階的に記録する人間を介したプロトコルを実装した。
• 前処理編集は、2つのNMTシステム（Google NMTおよびMarian NMT）および4つのテキストドメイン（例：ニュース、技術、医療、法的）で収集された。
• 言語的特徴（長さ、文構造の複雑さ、意味の明確さなど）を考慮して、前処理済みのソーステキストを分析した。
• 編集操作は構造的、機能的、フレーズレベル、綴りの4つのタイプに分類され、翻訳編集率（TER）を用いてNMT出力への影響が測定された。
• ソーステキストの変化とMT出力の変化の間の統計的相関分析を実施し、予測可能性を評価した。
• TERを主な指標として用い、各編集操作タイプのNMT出力への影響の大きさを評価した。

実験結果

リサーチクエスチョン

• RQ1 前処理済みソーステキストのどの言語的特徴がNMT出力品質の向上と最も強く相関しているか？
• RQ2 構造的編集、フレーズ再配置、標点符号の変更などの異なるタイプの編集操作が、NMT出力の変化にどのように影響するか？
• RQ3 異なる翻訳方向やMTシステムにおいて、前処理の影響がどの程度予測可能か？
• RQ4 NMTの本質的な予測困難さにもかかわらず、特定の編集操作が翻訳品質に与える影響に一貫したパターンが存在するか？

主な発見

• ソーステキストの意味の明確化や文構造の明示性を高めることの方が、文の長さを短くしたり単純化したりするよりも、NMT品質の向上に効果的である。
• 前処理のNMT出力への影響は一般的に予測困難であるが、特定の編集操作タイプは翻訳出力への影響に一貫した傾向を示している。
• 構造的編集（例：節の再配置、文構造の変更）は、TERで測定したところ、NMT出力に最も大きな変化をもたらした。
• フレーズ再配置（P03）は、NMT出力にやや小さい影響を及ぼしたため、現代のNMTシステムが位置の変更に対してもフレーズレベルの同等性を保持していることが示唆された。
• グルーピングマーカーの使用または削除（P02）は、人間の読みやすさへの影響が最小限であったにもかかわらず、NMT出力に顕著な影響を与えた。これは、トークン化の変化が原因である可能性が高い。
• 日本語→韓国語翻訳において、ソーステキストの編集とNMT出力の変化の間に中程度の正の相関（ピアソンのr = 0.580、スピアーマンのρ = 0.574）が観察された。これは、近縁言語ペアでは予測性が高くなる傾向があることを示唆している。