[論文レビュー] Utilizing Language Relatedness to improve Machine Translation: A Case Study on Languages of the Indian Subcontinent

Anoop Kunchukuttan, Pushpak Bhattacharyya|arXiv (Cornell University)|Mar 19, 2020

Natural Language Processing Techniques参考文献 46被引用数 17

ひとこと要約

本稿では、インド・サブコンチンネント言語間の言語的類縁性—特に語彙的・表記的・構造的類似性—を活用して、限定的な並列コーパスにおける統計的機械翻訳（SMT）の性能を向上させることを提案する。関連するインディック言語間で単語の単語と並列リソースを再利用し、クロスリンガル転送を活用することで、90の言語対について顕著なBLEUスコアの向上を達成した。言語の類縁性が低リソース翻訳において強力なリソースであることが示された。

ABSTRACT

In this work, we present an extensive study of statistical machine translation involving languages of the Indian subcontinent. These languages are related by genetic and contact relationships. We describe the similarities between Indic languages arising from these relationships. We explore how lexical and orthographic similarity among these languages can be utilized to improve translation quality between Indic languages when limited parallel corpora is available. We also explore how the structural correspondence between Indic languages can be utilized to re-use linguistic resources for English to Indic language translation. Our observations span 90 language pairs from 9 Indic languages and English. To the best of our knowledge, this is the first large-scale study specifically devoted to utilizing language relatedness to improve translation between related languages.

研究の動機と目的

• インディック言語間の系統的および接触由来の類似性が、機械翻訳品質の向上にどのように利用できるかを調査すること。
• 限定的な並列コーパスおよび単語のコーパスによるインドの言語における低リソース翻訳の課題に対処すること。
• 関連するインディック言語間で言語資源（例：語彙解析器、言語モデル）を再利用することで、大規模な並列データへの依存を減らす方法を検討すること。
• 9つのインディック言語と英語を含む90の言語対における言語類縁性の翻訳性能への影響を評価すること。
• 低リソース機械翻訳システムにおいて言語類縁性を戦略として用いるための包括的かつ大規模な実証的基盤を確立すること。

提案手法

• 関連するインディック言語間の語彙的および表記的類似性を活用して、クロスリンガル転送を用いて翻訳モデルを初期化またはファインチューニングした。
• リソース豊富なインディック言語から得た事前学習済み言語モデルや語彙解析器を、低リソース言語に再利用することでクロスリンガル転送を実施した。
• 関連言語の単語のコーパスを用いて、バックトランスレーションやマルチリンガルモデリングによるニューラル機械翻訳システムの事前学習または拡張を実施した。
• 9つのインディック言語と英語を含む90の言語対における包括的な評価フレームワークを構築し、翻訳品質を評価した。
• 言語類縁性に基づく言語モデルの適応と特徴工学を用いた統計的機械翻訳（SMT）システムを採用した。
• BLEUスコアを用いて性能を評価し、類縁度の異なる言語対における改善度を分析した。

実験結果

リサーチクエスチョン

• RQ1 関連するインディック言語間の語彙的および表記的類似性は、低リソース環境下での翻訳品質向上にどの程度寄与するか？
• RQ2 言語資源（例：語彙解析器、言語モデル）を高リソース言語から低リソース言語に効果的に転送できるか？
• RQ3 構造的対応（例：語順、格助詞の使用）は、機械翻訳におけるクロスリンガル転送にどのような影響を及ぼすか？
• RQ4 言語類縁性は、多様なインディック言語対における統計的機械翻訳システムの性能にどのように影響を与えるか？
• RQ5 関連言語の単語のコーパスを再利用することで、並列コーパスの必要性を顕著に低減できるか？

主な発見

• 言語類縁性が翻訳品質の向上に顕著に寄与することが実証された。特に並列データが乏しい状況で顕著であった。
• 共有言語資源を用いたクロスリンガル転送により、複数の言語対で測定可能なBLEUスコアの向上が達成された。
• 語彙的および表記的類似度が高い言語ほど、転移学習による利益が顕著であり、表面的類似性の役割が裏付けられた。
• 高リソースインディック言語（例：ヒンディー語、ベンガル語）から得た言語モデルや語彙解析ツールを再利用することで、低リソース言語（例：マラーティー語、オリヤ語）の性能が向上した。
• 関連言語の単語のコーパスをバックトランスレーションによって活用することで、一貫した改善が得られ、特に低リソース状況で顕著であった。
• 著者らは、90の言語対にわたり体系的かつ大規模な改善を報告し、言語類縁性が低リソース機械翻訳における重要な要因であることを確立した。