[論文レビュー] The Effect of Translationese in Machine Translation Test Sets

Mike Zhang, Antonio Toral|arXiv (Cornell University)|Jun 19, 2019

Natural Language Processing Techniques参考文献 17被引用数 6

ひとこと要約

本研究では、17の言語対におけるWMT 2016–2018ニュース共有タスクデータを用いて、機械翻訳（MT）テストセットにおける翻訳的表現（translationese）の影響を調査する。翻訳的表現が人間評価スコアを上方修正し、システム順位を歪め、特に低品質な翻訳方向に顕著に影響を及ぼすことが示され、MT研究におけるベンチマーク評価の妥当性に疑問を呈する。

ABSTRACT

The effect of translationese has been studied in the field of machine translation (MT), mostly with respect to training data. We study in depth the effect of translationese on test data, using the test sets from the last three editions of WMT's news shared task, containing 17 translation directions. We show evidence that (i) the use of translationese in test sets results in inflated human evaluation scores for MT systems; (ii) in some cases system rankings do change and (iii) the impact translationese has on a translation direction is inversely correlated to the translation quality attainable by state-of-the-art MT systems for that direction.

研究の動機と目的

• 翻訳的表現がMTテストセットのソーステキストに含まれることで、MTシステムの人的評価スコアが不正に上昇するかどうかを調査すること。
• テストセットに翻訳的表現が存在するかどうかが、WMT評価におけるシステム順位を変化させるかどうかを特定すること。
• 翻訳的表現の影響が、言語的距離や翻訳品質に関連して、言語対ごとに異なるかどうかを検討すること。
• 翻訳的表現をテストセットに含む現在のMTベンチマーク手法の妥当性に疑問を呈すること。
• テストセット構成がMT評価結果に顕著に影響することを実証的根拠で示すこと。

提案手法

• 本研究は、WMT 2016–2018ニュース共有タスクのテストセットを分析し、元のテキストと翻訳的表現を含むテキストの両方を含む。
• 言語的特徴およびメタデータの手がかりに基づき、テストセットを元の（O→T）および翻訳的表現を含む（T→O）ソースセグメントに分離する。
• O→TおよびT→Oセグメント間での人的評価スコア（DAスコア）を比較し、性能の上方修正を測定する。
• 翻訳的表現セグメントを除外した後、システム順位の安定性を評価するために再評価を実施する。
• ウィルコクソン順位和検定を用いた統計的クラスタリングにより、システム性能順序の顕著なシフトを同定する。
• 相関分析により、翻訳的表現の影響と達成可能な翻訳品質（例：BLEUまたはDAスコア）との関係を検討する。

実験結果

リサーチクエスチョン

• RQ1 翻訳的表現がMTテストセットのソース側に使用されることで、MTシステムが不正に有利になるのか、それとも中国語→英語のような特定のケースに限られるのか。
• RQ2 テストセットから翻訳的表現セグメントを除外することで、WMT評価におけるMTシステムの順位が変化するのか。
• RQ3 翻訳的表現の影響が、特に達成可能な翻訳品質が低い言語対において顕著に現れるのか。
• RQ4 テストセットにおける翻訳的表現が、人的評価スコアおよび自動評価指標の相関関係をどの程度歪めるのか。

主な発見

• テストセットのソーステキストに翻訳的表現が含まれると、人的評価スコアが上方修正され、翻訳的表現入力ではシステムが顕著に高いDAスコアを達成する。
• 17の言語対のうち14で、翻訳的表現セグメントをテストセットから除外した結果、少なくとも1つのシステムの順位が1位以上変動した。
• 翻訳的表現がシステムパフォーマンスに与える影響は、達成可能な翻訳品質と逆相関する：低品質な翻訳方向（例：英語→トルコ語）ほど影響が大きい。
• 英語→トルコ語の翻訳方向では、オリジナル言語入力でテストした際、上位システムの順位が1位から4位に低下した。これは顕著な順位シフトを示している。
• 翻訳的表現の影響は、リソースが乏しいか、品質が低い翻訳方向で特に顕著であり、翻訳的表現の単純化が性能格差を拡大する。
• 本研究は、テストセット構成、特にソース言語の出典がMT評価結果に顕著にバイアスをもたらすことを確認した。