[論文レビュー] Evaluation of Morphological Embeddings for English and Russian Languages

Vitaly Romanov, Albina Khusainova|arXiv (Cornell University)|Mar 11, 2021

Topic Modeling参考文献 21被引用数 6

ひとこと要約

この論文は、英語およびロシア語において、形態論的単語埋め込み（MorphGram）をSkipGramおよびFastTextと比較し、内在的評価（BATS、類推）および下流タスク（品詞タグ付け、句切り分け、多言語間埋め込みマッピング）を実施する。結果として、MorphGramは平均してSkipGramとFastTextの間の性能を示し、タスク間で一貫した向上が見られなかったため、この設定では形態論的埋め込みに安定した利点がないことが示された。

ABSTRACT

This paper evaluates morphology-based embeddings for English and Russian languages. Despite the interest and introduction of several morphology-based word embedding models in the past and acclaimed performance improvements on word similarity and language modeling tasks, in our experiments, we did not observe any stable preference over two of our baseline models - SkipGram and FastText. The performance exhibited by morphological embeddings is the average of the two baselines mentioned above.

研究の動機と目的

• 英語およびロシア語における内在的および下流タスクの性能向上に、形態論的単語埋め込みが寄与するかどうかを評価すること。
• 既存のベースライン（SkipGramおよびFastText）と比較して、形態論的注意をもつモデルであるMorphGramを評価すること。
• 形態論的情報が単語類似性、類推、品詞タグ付け、句切り分け、多言語間埋め込みマッピングに与える影響を評価すること。
• ロシア語のような低リソースまたは形態論的に豊富な環境において、形態論的埋め込みが利点をもたらすかどうかを検証すること。
• サブワードn-gramモデル化を超えて、語素レベルの構成が表現品質を向上させるかどうかをテストすること。

提案手法

• MorphGramを、Morfessorからの語素レベルの分割を用いて、SkipGramの目的関数で学習し、語素ベクトルを和集合で統合する。
• 内在的意味的および文法的類似性の評価に、BATSデータセットおよび類推タスクを用いる。
• シード辞書を用いて、英語およびロシア語の埋め込み空間を統合するための教師あり単語埋め込みマッピング（vecmap）を適用する。
• 単語埋め込みのみを入力特徴として使用する、シンプルなCNNベースのモデルを訓練して品詞タグ付けおよび句切り分けを実行する。
• Conll2000（英語）および458種類の品詞タグを有するロシア語コーパスを用い、固定エポック数（英語：50、ロシア語：20）で学習する。
• 多言語間マッピング性能の測定に、MUSEが提供する辞書を用いて1-NNおよび10-NNの正確度を用いる。

実験結果

リサーチクエスチョン

• RQ1 単語埋め込みに形態論的分割を組み込むことで、内在的評価においてSkipGramおよびFastTextを上回る一貫した性能向上が得られるか？
• RQ2 品詞タグ付けや句切り分けといった下流タスクにおいて、形態論的埋め込みは英語およびロシア語でどのように性能を示すか？
• RQ3 英語とロシア語間の多言語間単語埋め込みマッピングにおいて、形態論的埋め込みが向上をもたらすか？
• RQ4 形態論的に豊富な言語（例：ロシア語）において、サブワードn-gramモデル化（FastText）と比較して、形態論的モデリングに測定可能な利点があるか？
• RQ5 複数の評価タイプにわたり、形態論的埋め込みが意味的（SkipGram）および文字ベース（FastText）モデルを上回るか、少なくとも同等の性能を示すか？

主な発見

• BATSデータセットにおいて、英語の類推推論ではMorphGramが32.71%の正確度を達成し、SkipGram（29.67%）とFastText（33.33%）の間の中間的性能を示した。
• 英語の文法的類推では、MorphGramが61.16%を記録し、SkipGram（55.88%）とFastText（75.10%）の間の性能を示した。
• ロシア語の意味的類推では、MorphGramが34.69%を記録し、SkipGram（39.11%）とFastText（25.59%）の間の中間的性能を示した。
• 多言語間マッピング（ru-en）では、MorphGramが1-NN正確度53.51%を達成し、SkipGram（56.27%）およびFastText（55.58%）をわずかに下回り、形態論的特徴に恩恵がないことが示された。
• 品詞タグ付けでは、英語でSkipGramが最も高い性能（0.9824）を示したが、ロシア語ではFastTextが最良（0.8899）で、MorphGramは中間的結果（0.8871）を示した。
• 句切り分けでは、両言語でFastTextが最高の正確度（英語：0.9034、ロシア語：0.8548）を記録し、MorphGramも中間的結果（英語：0.8985、ロシア語：0.8534）を示した。