[論文レビュー] Low Resourced Machine Translation via Morpho-syntactic Modeling: The Case of Dialectal Arabic

Alexander Erdmann, Nizar Habash+2 more|arXiv (Cornell University)|Dec 18, 2017

Natural Language Processing Techniques参考文献 53被引用数 6

ひとこと要約

この論文は、モーフォロジカル・シンタクティックモデリングとピボット翻訳を統合することで、アラビア語の方言（エジプト語およびレバノン語）向けの低リソース機械翻訳システムを提示している。ベースラインモデルに比べて顕著な性能向上を達成した。外部リソース（単語文データ、語彙解析器、ピボットモデルなど）を活用することで、盲検テストセットにおいてBLEUスコアを14.6（ベースライン）から17.5まで向上させ、構文的および語彙的制約がデータが少ない状況でも流暢さと正確性を向上させることを示している。

ABSTRACT

We present the second ever evaluated Arabic dialect-to-dialect machine translation effort, and the first to leverage external resources beyond a small parallel corpus. The subject has not previously received serious attention due to lack of naturally occurring parallel data; yet its importance is evidenced by dialectal Arabic's wide usage and breadth of inter-dialect variation, comparable to that of Romance languages. Our results suggest that modeling morphology and syntax significantly improves dialect-to-dialect translation, though optimizing such data-sparse models requires consideration of the linguistic differences between dialects and the nature of available data and resources. On a single-reference blind test set where untranslated input scores 6.5 BLEU and a model trained only on parallel data reaches 14.6, pivot techniques and morphosyntactic modeling significantly improve performance to 17.5.

研究の動機と目的

• 小規模な並列コーパスにとどまらない、外部の言語的リソースを活用して、アラビア語の方言間翻訳における並列データの不足を是正すること。
• 語彙的および構文的特徴をモデル化することで、低リソースのアラビア語方言翻訳環境において翻訳性能が向上するかを調査すること。
• ピボットベースの翻訳とモーフォロジカル・シンタクティック制約が、エジプト語およびレバノン語の翻訳における流暢さと正確性をどのように向上させるかを評価すること。
• 同様の語彙的・構文的変異を示す他の低リソース言語ペアにも適用可能なフレームワークを構築すること。
• 言語対象に依存しないツールと単語文データのマイニングを活用してデータスパarsityを低減し、モデルの汎化能力を向上させること。

提案手法

• ピボットベースのアプローチを採用し、エジプト語から英語へ、そして英語からレバノン語へ翻訳することで、既存の英語並列データを活用する。
• 語彙解析器と品詞タガーを統合し、定義性、性、数、品詞などのモーフォロジカル・シンタクティック特徴をモデル化する。
• 段階的再順序付けモデル（Dir+PP+Morph）を訓練し、フレーズレベルのアライメントに対してモーフォロジカル・シンタクティック制約を強制することで誤りを是正する。
• より長い、頻度が低いがモーフォロジカル・シンタクティックに妥当なフレーズペアを優先することで、過剰なフレーズ分割エラーを低減する。
• 単語文データを用いて言語モデルを訓練し、シードデータと期待値最大化法を用いて同等の文ペアをマイニングし、並列学習データセットを拡張する。
• モーフォロジカル・シンタクティック制約をニューラル再順序付けフレームワークに統合することで、語彙的正確性と全体的な流暢さの両方を向上させる。

実験結果

リサーチクエスチョン

• RQ1 限られた並列データのもとで、モーフォロジカル・シンタクティックモデリングが低リソースのアラビア語方言間翻訳を顕著に改善できるか？
• RQ2 モーフォロジカル・シンタクティック制約を組み合わせたピボットベースの翻訳システムは、翻訳品質の向上にどの程度有効か？
• RQ3 モーフォロジカル・シンタクティック特徴は、語のアライメント、フレーズのチャンク化、語の挿入エラーをどの程度低減するか？
• RQ4 単語文データや語彙解析器などの外部リソースは、アラビア語方言MTにおけるデータスパarsityを緩和できるか？
• RQ5 モーフォロジカル・シンタクティック制約は、翻訳においてより長い、頻度が低いフレーズペアの選択にどのように影響するか？

主な発見

• 並列データのみで学習したベースラインモデルは、単一参照の盲検テストセットで14.6のBLEUスコアを達成した。
• ピボット手法とモーフォロジカル・シンタクティックモデリングを統合した本手法は、17.5のBLEUスコアを達成し、ベースラインに比べ顕著な向上を示した。
• モーフォロジカル・シンタクティック制約により、特定の特徴における語彙的誤りが17%削減された。ベースラインモデルでは17%のトークンが語彙的・構文的性質を誤って表現していたが、強化モデルでは6.1%に低下した。
• より長い、語彙的に妥当なフレーズペアの選択を可能にすることで、過剰なチャンク化エラーが低減された。
• POS制約をモデル化することで、余分な語の挿入（例：アラビア語での「what」）が是正された。これは、ヌルトークンへのアライメントを好まない制約によるものである。
• 全体的な誤り低減効果は主に間接的である。補正後、誤りの割合は7.1%から5.2%に低下した。これは、より良い構文的およびフレーズレベルのモデリングによるものである。