[論文レビュー] Improving Word Sense Disambiguation in Neural Machine Translation with Salient Document Context

Elijah Rippeth, Marine Carpuat+2 more|arXiv (Cornell University)|Nov 27, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、モデルアーキテクチャを変更せずに、偽ドキュメント（人工的に構築された関連文のコレクション）から抽出した顕著なキーワードをソース文にプレフィックスとして付加することで、ニューラル機械翻訳における語の意味のあいまいさ解消（WSD）を簡潔かつスケーラブルに改善する手法を提案する。この手法は、実際の文書レベルデータの代わりにノイズの多い方法で構築された偽ドキュメントを用いることで、訓練コストを削減しながらも、新しいテストセットである doc-MuCoW において文書レベルと文レベルのベースラインを上回る性能を発揮する。

ABSTRACT

Lexical ambiguity is a challenging and pervasive problem in machine translation (\mt). We introduce a simple and scalable approach to resolve translation ambiguity by incorporating a small amount of extra-sentential context in neural \mt. Our approach requires no sense annotation and no change to standard model architectures. Since actual document context is not available for the vast majority of \mt training data, we collect related sentences for each input to construct pseudo-documents. Salient words from pseudo-documents are then encoded as a prefix to each source sentence to condition the generation of the translation. To evaluate, we release \docmucow, a challenge set for translation disambiguation based on the English-German \mucow \cite{raganato-etal-2020-evaluation} augmented with document IDs. Extensive experiments show that our method translates ambiguous source words better than strong sentence-level baselines and comparable document-level baselines while reducing training costs.

研究の動機と目的

• 文書外の文脈が欠如しているため、文レベルのモデルが失敗するニューラル機械翻訳における語の意味のあいまいさ解消（WSD）という継続的な課題に対処すること。
• モデルアーキテクチャの変更や意味のアノテーションを伴わずに、文書レベルの文脈を文レベルのMTシステムに統合する手法を開発すること。
• 文書IDを追加してWSD性能を測定可能なようにした、新しい挑戦的なテストセットである doc-MuCoW を用いて、手法の性能を評価すること。
• 顕著な文脈抽出が、完全な文書レベルモデルの性能に匹敵する結果を、訓練コストの一部にとどめて達成できることを示すこと。

提案手法

• URL、トピック、またはクラスタリングに基づいて類似性を持つ文を統合することで、並列単言語データ（例：ParaCrawl）から『偽ドキュメント』を構築する。これにより、ノイズは含まれるが情報量の多い文脈が得られる。
• TF-IDF または BERTベースの埋め込み類似度を用いた顕著性関数を適用し、各偽ドキュメントから上位-k個の関連性の高いキーワードを抽出する。
• 各ソース文に上位-k個の顕著語をプレフィックスとして付加し、変更された入力系列 $ x' = \hat{\mathbf{w}}^k \oplus [\langle\textsc{SEP}\rangle] \oplus x $ を形成する。これにより、翻訳モデルがグローバルな文脈に条件付けられる。
• 標準的なニューラルMTモデルアーキテクチャ、損失関数、デコードプロセスを維持することで、既存のシステムやトレーニングパイプラインとの互換性を確保する。
• トレーニング時と推論時の両方で同じプレフィックス技術を用いることで、最小限の修正でエンドツーエンド学習を可能にする。
• MuCoW から文書IDを追加して得られた新しいテストセット、doc-MuCoW を用いて性能を評価する。

Figure 3: # $\textsc{pos}_{\texttt{sys}}$ - # $\textsc{pos}_{\texttt{sent}}$ for each context-aware sys as a function of subword-segmented source sentence length. Shorter sentences benefit more from context under saliency-based models with more context, with diminishing returns with more intra-sente

実験結果

リサーチクエスチョン

• RQ1 偽ドキュメントから抽出した顕著なキーワードは、文レベルのニューラル機械翻訳における語の意味のあいまいさ解消を改善できるか？
• RQ2 この手法は、強力な文レベルベースラインおよび同等の文書レベルモデルを上回り、かつ訓練コストを削減できるか？
• RQ3 文の長さや語の意味のあいまいさの程度によって、性能向上の度合いはどのように変化するか？
• RQ4 顕著性関数の選択（TF-IDF 対 BERT）が、WSD性能にどの程度影響を与えるか？

主な発見

• 提案手法は、doc-MuCoW テストセットにおいて、文レベルおよび文書レベルのベースラインを上回る優れた語の意味のあいまいさ解消性能を達成しており、顕著な文脈の有効性を示している。
• WSDに特化した評価において、強力な文レベルベースラインを +1.8 BLEU 上回った。これは、意味のあいまいさ解消の正確性に顕著な向上が見られたことを示している。
• 性能向上は特に短い文において顕著であり、文レベルの文脈が乏しい場合に、限定的な文脈が最も効果的であることが示唆されている。
• 完全な文書レベルモデルに比べて、訓練コストを顕著に削減できた。これは、複雑なアーキテクチャと大規模な文書順序付きデータを必要とする文書レベルモデルとは対照的である。
• TF-IDF と BERTベースの顕著性関数の両方とも強力な結果をもたらしたが、特に意味のあいまいな語では BERTベースの顕著性関数がわずかに優れた性能を示した。
• フレームワークは一般化性に優れている：ノイズの多い自動生成された偽ドキュメントを用いても性能が維持されるため、データ品質の問題に対しても頑健であることが示された。