[論文レビュー] Data Augmentation to Address Out-of-Vocabulary Problem in Low-Resource Sinhala-English Neural Machine Translation

Aloka Fernando, Surangika Ranathunga|arXiv (Cornell University)|May 18, 2022

Natural Language Processing Techniques被引用数 6

ひとこと要約

この論文は、低資源の僧伽語-英語ニューラル機械翻訳（NMT）における、語彙外語（OOV）語と希少語を同時に扱う、構文的および意味的制約を保ちながら語やフレーズを置き換えることで新しいデータ拡張（DA）手法を提案する。この手法は翻訳性能を向上させ、意味的制約のみで構文的制約と同等の結果を達成し、両方を組み合わせることでさらなる向上が得られる。特に、言語学的ツールが不足する低資源言語において顕著な効果を示す。

ABSTRACT

Out-of-Vocabulary (OOV) is a problem for Neural Machine Translation (NMT). OOV refers to words with a low occurrence in the training data, or to those that are absent from the training data. To alleviate this, word or phrase-based Data Augmentation (DA) techniques have been used. However, existing DA techniques have addressed only one of these OOV types and limit to considering either syntactic constraints or semantic constraints. We present a word and phrase replacement-based DA technique that consider both types of OOV, by augmenting (1) rare words in the existing parallel corpus, and (2) new words from a bilingual dictionary. During augmentation, we consider both syntactic and semantic properties of the words to guarantee fluency in the synthetic sentences. This technique was experimented with low resource Sinhala-English language pair. We observe with only semantic constraints in the DA, the results are comparable with the scores obtained considering syntactic constraints, and is favourable for low-resourced languages that lacks linguistic tool support. Additionally, results can be further improved by considering both syntactic and semantic constraints.

研究の動機と目的

• 低資源の僧伽語-英語ニューラル機械翻訳（NMT）における語彙外語（OOV）問題に対処すること。
• 訓練データ内の希少語と、双方向辞書から得られるまったく新しいOOV語の両方を処理できるデータ拡張技術を開発すること。
• 語やフレーズの置き換え時に構文的および意味的制約を併用することで、拡張された文の流暢さを保証すること。
• 限られた言語学的ツール支援のもとで、意味的制約のみ、構文的制約のみ、および両方を組み合わせた制約の有効性を評価すること。
• 意味的制約のみで競争力のある結果が得られることを示し、低資源言語では複雑な構文解析ツールへの依存を減らすことが可能になること。

提案手法

• 双方向辞書を用いて、並列文における語やフレーズの置き換えを実行し、新しいOOV語を導入する。
• 意味的制約として単語埋め込みを用い、置き換えられた語が元の語と意味的に類似していることを保証する。
• 品詞（POS）タギングを用いて構文的制約を適用し、拡張された文の文法的正しさを維持する。
• 拡張プロセスにより、意味と文法的構造の両方を保った合成並列文が生成される。
• 標準的なBLEUスコアを用いて、低資源の僧伽語-英語NMT設定でアプローチを評価する。
• 意味的および構文的制約を個別に適用するとともに、両方を組み合わせて翻訳品質への影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 語彙外語（OOV）問題を、希少語および未発見語の拡張によって低資源の僧伽語-英語NMTで効果的に軽減できるデータ拡張手法は存在するか？
• RQ2 意味的制約のみと構文的制約のみを用いた場合、低資源環境下での文の流暢さと翻訳品質の維持において、どちらが優れているか？
• RQ3 構文的制約と意味的制約を組み合わせることで、個別に使用した場合と比較して翻訳性能がどの程度向上するか？
• RQ4 構文解析ツールがほとんど利用できない低資源言語において、意味的類似性に基づくデータ拡張法が、複雑な構文解析ツールを必要とせずに競争力のある結果を達成できるか？

主な発見

• データ拡張において意味的制約のみを用いることで、構文的制約を用いた場合と同等のBLEUスコアが得られ、意味的制約のみのアプローチの有効性が示された。
• 構文的および意味的制約を併用することで、翻訳性能がさらなる向上を示し、両者の組み合わせによる相乗効果が確認された。
• 意味的で意味のある置き換えを通じて、希少語および未発見語を効果的に導入することで、OOV問題が顕著に軽減された。
• 意味的制約が不足する低資源言語、特に僧伽語のような言語において、このアプローチは特に効果的であり、POSタガーや解析器などの言語学的リソースが限られている状況でも有効に機能する。