[論文レビュー] Intelligent Translation Memory Matching and Retrieval with Sentence Encoders

Tharindu Ranasinghe, Constantin Orǎsan+1 more|arXiv (Cornell University)|Apr 27, 2020

Natural Language Processing Techniques参考文献 22被引用数 11

ひとこと要約

本論文では、翻訳メモリ（TM）システムにおける伝統的な編集距離ベースの照合手法を、特にユニバーサル文エンコーダーを用いた文埋め込みに置き換えることで、語彙的に異なるが意味的に類似した翻訳セグメントの検索を改善することを提案する。この手法は、編集距離を上回り、特に類似度が低い範囲（0.6–0.8）において顕著に優れた性能を示し、平均的な意味的テクスト類似度スコアが0.768に達する。これは翻訳生産性の向上を示唆している。

ABSTRACT

Matching and retrieving previously translated segments from a Translation Memory is the key functionality in Translation Memories systems. However this matching and retrieving process is still limited to algorithms based on edit distance which we have identified as a major drawback in Translation Memories systems. In this paper we introduce sentence encoders to improve the matching and retrieving process in Translation Memories systems - an effective and efficient solution to replace edit distance based algorithms.

研究の動機と目的

• 翻訳セグメント間の意味的類似度を捉えることのできない編集距離の限界を是正すること。
• 深層学習に基づく文エンコーダーに置き換えることで、翻訳メモリシステムにおけるファジィマッチの検索を改善すること。
• ユニバーサル文エンコーダーが従来の手法よりも意味的に関連性の高い翻訳セグメントを検索できるかどうかを評価すること。
• 低類似度範囲（0.6–0.8）におけるより良いマッチングセグメントの検索によって、文エンコーダーが翻訳生産性を向上させられる可能性を評価すること。
• マルチリンガル版のユニバーサル文エンコーダーを用いて、多言語TMシステムへのこの手法の拡張可能性を検討すること。

提案手法

• ユニバーサル文エンコーダーを用いて、元言語および対訳言語のセグメントを密なベクトル表現に埋め込む。
• 文の埋め込み間のコサイン類似度を用いて意味的類似度を計算し、編集距離に代えて使用する。
• 語彙的重複度ではなく、最高の意味的類似度スコアに基づいて翻訳単位を検索する。
• 人間がアノテートした意味的テクスト類似度（STS）スコアをゴールドスタンダードとして用い、実世界のTMデータを用いて評価する。
• 商用TMで一般的に使われる標準的なOkapi BM25ベースのファジィマッチングアルゴリズムと比較する。
• 実験は英語-スペイン語TMデータセットを対象とし、ファジィマッチスコアの範囲ごとに結果を分析する。

実験結果

リサーチクエスチョン

• RQ1 ユニバーサル文エンコーダーのような文エンコーダーは、編集距離ベースの手法よりも意味的に関連性の高い翻訳セグメントを検索できるか？
• RQ2 ユニバーサル文エンコーダーの性能は、従来のTM照合アルゴリズムと比較して、低ファジィマッチスコア範囲（例：0.6–0.8）でどう異なるか？
• RQ3 検索されたセグメントの意味的類似度は、人間がアノテートしたSTSスコアとどの程度相関しているか？
• RQ4 標準的なTMが機能しない状況において、文エンコーダーを用いることで、より良いマッチングセグメントを検索でき、翻訳生産性が向上するか？
• RQ5 ユニバーサル文エンコーダーのマルチリンガル機能は、非英語の言語ペアへのこのアプローチの拡張に適しているか？

主な発見

• ユニバーサル文エンコーダーは、編集距離ベースの手法に比べ、意味的に類似したセグメントを検索する点で優れている。特にファジィマッチスコア範囲0.6–0.8において顕著な優位性を示した。
• ファジィマッチスコア0.6–0.8範囲でユニバーサル文エンコーダーが検索したセグメントの平均的な意味的テクスト類似度（STS）スコアは0.768であった。これは高い意味的関連性を示している。
• ファジィマッチスコアが0.8未満の範囲では、ユニバーサル文エンコーダーがOkapiベースのシステムよりも一貫して優れたマッチングを提供した。
• ファジィマッチスコア0.8–1.0範囲では、平均STSスコアが0.952に達し、高類似度ケースにおいても優れた性能を示した。
• 本手法は、標準的なTMが無視する範囲でも利用可能なマッチングを提供するため、翻訳生産性の向上に有望である。
• 結果から、文エンコーダーがTMシステムにおけるコア類似度指標として編集距離を効果的に置き換えられると示唆された。