[論文レビュー] Assessing Crosslingual Discourse Relations in Machine Translation

Karin Smith, Lucia Specia|arXiv (Cornell University)|Oct 7, 2018

Natural Language Processing Techniques参考文献 20被引用数 4

ひとこと要約

本稿では、翻訳の文脈的関係の転送を評価するための参照フリーでソースベースの手法を提案する。クロスリンガルディスcourse埋め込みとディスコース関係マッピングを用い、翻訳元から翻訳先へのディスコース関係の意味的保存度を測定することで、標準的指標を上回る。修正済翻訳が78%のケースでMT出力よりも高いスコアを獲得しており、現実的でディスコースに配慮したMT評価の可能性を示している。

ABSTRACT

In an attempt to improve overall translation quality, there has been an increasing focus on integrating more linguistic elements into Machine Translation (MT). While significant progress has been achieved, especially recently with neural models, automatically evaluating the output of such systems is still an open problem. Current practice in MT evaluation relies on a single reference translation, even though there are many ways of translating a particular text, and it tends to disregard higher level information such as discourse. We propose a novel approach that assesses the translated output based on the source text rather than the reference translation, and measures the extent to which the semantics of the discourse elements (discourse relations, in particular) in the source text are preserved in the MT output. The challenge is to detect the discourse relations in the source text and determine whether these relations are correctly transferred crosslingually to the target language -- without a reference translation. This methodology could be used independently for discourse-level evaluation, or as a component in other metrics, at a time where substantial amounts of MT are online and would benefit from evaluation where the source text serves as a benchmark.

研究の動機と目的

• 翻訳の評価に参照依存性があるという限界に対処する。これは、単一のゴールドスタンダード翻訳に限定された評価をもたらし、ディスコースレベルの意味論を無視する。
• 翻訳出力が翻訳元テキストにおけるディスコース関係の意味的保存度に基づいて評価される方法を開発する。これは、参照翻訳に依存しない。
• オンラインMTのスケーラブルかつリアルタイム評価を可能にする。ソーステキストをディスコースレベルの正しさのベンチマークとして用いる。
• 特に語彙的手がかり（例：ディスコース接続詞）を通じて、明示的なディスコース関係のクロスリンガル転送を捉えることで、MT評価を向上させる。
• クロスリンガルディスコース埋め込みを用いて、文脈に依存する形で言語間の意味的同等性をモデル化する可能性を検討する。

提案手法

• ディスコースパーサーを用いて翻訳元テキスト内のディスコース関係を検出し、特定の関係（例：条件的、目的）を示す手がかりとしてディスコース接続詞を同定する。
• マルチワードのディスコース接続詞がフランス語（翻訳元）と英語（翻訳先）の間で意味的同等性を捉えるように、クロスリンガルディスコース埋め込みを学習する。
• クロスリンガル埋め込みからの尤度スコアを用いて、翻訳元言語から翻訳先言語への正しいディスコース関係転送の確率を推定する。
• 埋め込み類似度とディスコース関係マッピングを組み合わせた重み付きスコアにより、ディスコース関係転送の正しさを評価する。
• 翻訳出力を参照ではなく、ソーステキストと比較することで、ディスコース関係の意味が保存されているかを評価する。
• 複数のMTシステム（例：RBMT1、Stanford、UEdin）に評価を適用し、修正済みバージョンを正しさの代理としてスコアを検証する。

実験結果

リサーチクエスチョン

• RQ1 翻訳の出力に参照翻訳に依存せずに、翻訳元テキスト内のディスコース関係を信頼性高く検出し、それらを翻訳先言語の対応物にマッピングできるか？
• RQ2 クロスリンガルディスコース埋め込みは、フランス語と英語のような言語間で、ディスコース接続詞の意味的同等性をどの程度捉えることができるか？
• RQ3 本手法は、翻訳出力と修正済みバージョンの間で、ディスコース関係の保存度についてどの程度区別できるか？
• RQ4 人間の参照翻訳とは異なるが、ディスコース意味を保存しているMTシステムに対して、モデルは評価を高くするか？
• RQ5 本手法は、暗黙的関係と明示的関係の両方でどの程度の性能を示すか。また、文間関係の処理における限界は何か？

主な発見

• 提案手法は、評価対象ドキュメントの78%で修正済み翻訳をMT出力よりも高くまたは同等にスコア付けしており、ディスコースレベルの改善に敏感であることが示された。
• ルールベースMTシステム（例：RBMT1）は、本手法の下では標準的評価よりも優れた性能を示した。特に「pour que」を「so that」と正しく翻訳する点で顕著だった。
• 「to enable」や「so that」などの重要なディスコースマーカーを保存できないシステムは、文法的に正しくてもペナルティを受けることがあり、モデルが意味的整合性に重点を置いていることを示している。
• モデルは、STANFORDおよびUEDINシステムが「to enable」や「to make」の不定詞構文を省略しており、文脈的関係の意味が消失していることを特定した。これは、高い流暢さにもかかわらず、ディスコース関係の意味が損なわれている例である。
• 本手法は、人間の判断との相関係数（Spearmanのrho = 0.263）が標準的指標を上回っており、ディスコースレベルの理解により整合性がある可能性を示している。
• 本手法により、人間の参照翻訳がしばしばディスコース関係を暗黙的に表現している（例：「to enable」を介して）ことが明らかになったが、MTではそれが常に保存されていない。これにより、ソースベースの評価の必要性が強調された。