[論文レビュー] Role of Morphology Injection in SMT: A Case Study from Indian Language Perspective

S Sreelekha, Pushpak Bhattacharyya|arXiv (Cornell University)|Sep 15, 2017

Natural Language Processing Techniques参考文献 41被引用数 8

ひとこと要約

本稿では、ヒンディー語、マラヤーラム語、マラーシー語など語彙的豊富なインド諸言語向けのフレーズベース統計的機械翻訳（PBSMT）におけるデータスパarsity問題に対処するため、形態素挿入法を提案する。未学習の形態素形を訓練コーパスに挿入することで、翻訳品質が著しく向上し、的確性および流暢さの両面で1桁の向上が達成された。

ABSTRACT

Phrase-based Statistical Machine Translation (PBSMT) is commonly used for automatic translation. However, PBSMT runs into difficulty when either or both of the source and target languages are morphologically rich. Factored models are found to be useful for such cases, as they consider word as a vector of factors. These factors can contain any information about the surface word and use it while translating. The objective of the current work is to handle morphological inflections in Hindi, Marathi, and Malayalam using Factored translation models when translating from English. Statistical MT approaches face the problem of data sparsity when translating to a morphologically rich language. It is very unlikely for a parallel corpus to contain all morphological forms of words. We propose a solution to generate these unseen morphological forms and inject them into the original training corpus. We propose a simple and effective solution based on enriching the input with various morphological forms of words. We observe that morphology injection improves the quality of translation in terms of both adequacy and fluency. We verify this with experiments on three morphologically rich languages when translating from English. From the detailed evaluations, we observed an order of magnitude improvement in translation quality.

研究の動機と目的

• 英語から語彙的豊富なインド諸言語に翻訳する際のフレーズベース統計的機械翻訳（PBSMT）におけるデータスパarsity問題に対処すること。
• ヒンディー語、マラヤーラム語、マラーシー語のような言語における並列コーパスにおける未学習の形態素形の課題を克服すること。
• 訓練データの形態素的拡張を通じて、的確性および流暢さの両面で翻訳品質を向上させること。
• 挿入された形態素形を含む因子化翻訳モデルの有効性を評価すること。

提案手法

• 言語学的規則または形態素解析器を用いて、元の言語の語の未学習の形態素形を生成する。
• 生成された形は、元の訓練用単語語彙および並列コーパスに挿入され、訓練データが拡張される。
• 各単語が形態素コンポーネントを含む要因のベクトルとして表現される因子化翻訳モデルが採用される。
• 拡張された訓練データを用いてPBSMTシステムを再訓練することで、まれなまたは未学習の変形形への一般化が向上する。
• この手法は、因子化モデルが語の部分をモデル化できるという特徴を活用し、アライメントおよび翻訳意思決定が向上する。

実験結果

リサーチクエスチョン

• RQ1 訓練データに合成された形態素形を挿入することで、語彙的豊富な言語向けPBSMTの翻訳品質にどのような影響を与えるか？
• RQ2 英語からヒンディー語、マラヤーラム語、マラーシー語に翻訳する際、形態素挿入法がどの程度データスパarsityを軽減できるか？
• RQ3 挿入された形態素を含む因子化モデルの使用は、翻訳の流暢さおよび的確性の両面で向上をもたらすか？
• RQ4 形態素挿入法が、さまざまな語彙的豊富なインド諸言語に与える相対的影響は何か？

主な発見

• 形態素挿入法は翻訳品質を著しく向上させ、翻訳パフォーマンスが1桁向上した。
• この手法は、ヒンディー語、マラヤーラム語、マラーシー語の翻訳の両方の的確性および流暢さを向上させた。
• 因子化翻訳モデルは、挿入された形態素形のおかげで著しく利益を受け、データスパarsityの影響が軽減された。
• 向上効果は、テストされた3つの語彙的豊富なインド諸言語すべてに一貫して見られた。