[論文レビュー] Don't Forget the Long Tail! A Comprehensive Analysis of Morphological Generalization in Bilingual Lexicon Induction

Paula Czarnowska, Sebastian Ruder+3 more|arXiv (Cornell University)|Sep 6, 2019

Natural Language Processing Techniques参考文献 18被引用数 4

ひとこと要約

本稿では、最先端の二語辞書誘導（BLI）モデルにおける屈曲一般化能力を評価するため、10の言語に対して40の形態的に完全な二語辞書を導入する。既存のモデルが、一般的な語彙であっても希少な屈曲形に対して著しく性能を発揮しないことが示され、訓練時に単純な形態的制約を課すことで、関連言語対および非関連言語対の両方で性能が著しく向上することを示し、より良い形態的符号化が一般化能力を向上させることを証明する。

ABSTRACT

Human translators routinely have to translate rare inflections of words - due to the Zipfian distribution of words in a language. When translating from Spanish, a good translator would have no problem identifying the proper translation of a statistically rare inflection such as habláramos. Note the lexeme itself, hablar, is relatively common. In this work, we investigate whether state-of-the-art bilingual lexicon inducers are capable of learning this kind of generalization. We introduce 40 morphologically complete dictionaries in 10 languages and evaluate three of the state-of-the-art models on the task of translation of less frequent morphological forms. We demonstrate that the performance of state-of-the-art models drops considerably when evaluated on infrequent morphological inflections and then show that adding a simple morphological constraint at training time improves the performance, proving that the bilingual lexicon inducers can benefit from better encoding of morphology.

研究の動機と目的

• 最先端の二語辞書誘導モデルが、人間の翻訳者と同様に希少な形態的屈曲形に一般化できるかどうかを調査すること。
• 特に希少形を含む完全な屈曲的パラダイムを含む包括的な評価リソースの不足に対処すること。
• 語彙頻度、形態、語彙頻度、語彙固有の性質を独立に制御できる新しい実験的枠組みを提案・評価すること。
• 訓練時に形態的制約を課すことで、希少および新規の形態的形に一般化する性能が向上するかどうかを検証すること。

提案手法

• 5つのスラブ語および5つのラテン語族言語の40の形態的に完全な辞書を構築し、含まれるすべての語彙の完全な屈曲的パラダイムをカバーした。
• 語形頻度、形態・句法的カテゴリ、語彙頻度、語彙固有の性質の4つの変数を独立に変化させた制御された実験フレームワークを設計し、BLIモデルの評価を実施した。
• 新規に構築された辞書を用いて、3つの代表的なBLIモデル—Artetxe et al. (2017)、Ruder et al. (2018)、および他のモデル—を、すべての40の言語対で評価した。
• 訓練時に、同じ形態・句法的カテゴリ（例：3人称複数過去形）を共有するペアに限定して語の対応付けを制限する「ハードな形態的制約」を導入した。
• 訓練時に、UniMorphタグが付与された形態のみを用い、意味的および文法的に整合する形態同士の対応付けのみを保証した。
• 標準的なBLIタスクと語彙を制御したBLIタスクの両方で性能を比較し、形態・句法的カテゴリおよび頻度レベルごとの正確性を測定した。

実験結果

リサーチクエスチョン

• RQ1 最先端の二語辞書誘導モデルは、一般的な語彙の希少な形態的屈曲形に対しても、人間の翻訳者と同様に一般化できるか？
• RQ2 制御された評価環境において、モデルの性能は、異なる形態・句法的カテゴリおよび語の頻度レベルでどのように変化するか？
• RQ3 訓練時に単純な形態的制約を課すことで、希少および新規の屈曲形に対する一般化性能が向上するか？
• RQ4 系統的に関連する言語対と非関連言語対の間で、形態的一般化の性能にどのような差が生じるか？
• RQ5 既存の評価ベンチマークが、頻度の高い形に偏っているため、BLIモデルの真の一般化能力を正しく捉えられていない程度はどの程度か？

主な発見

• 最先端のBLIモデルの性能は、一般的な語彙であっても希少な形態的屈曲形に対して著しく低下し、言語的形態の末尾（長尾）への一般化能力が著しく低いことが示された。
• 頻度の高い形態・句法的カテゴリ（例：3人称単数現在形）ではモデルがうまく一般化するが、特に大きなパラダイムを有する頻度の低いカテゴリでは失敗する。
• 訓練時に同じカテゴリの形態同士に限定する形態的制約を課すことで、すべてのロマンス語対および多くのスラブ語対で一貫した性能向上が得られた。
• 系統的に非関連の言語対（ポーランド語–スペイン語）では全体的に性能が低かった（語彙内ペアで28％の正確性）が、形態的制約を導入することで依然として性能が向上し、その有効性が示された。
• MUSEベンチマークは頻度の高い形に偏っているため、希少な屈曲形を十分にカバーしておらず、真の一般化能力を評価する能力に制限がある。
• 本研究は、モデルが最も困難に感じるのは、希少な形態・句法的カテゴリおよび大きなパラダイムを有する形態であり、語彙が一般的であっても同様に問題となるという、洗練された失敗パターンを明らかにした。