[論文レビュー] Development of Word Embeddings for Uzbek Language

B. Mansurov, A. Mansurov|arXiv (Cornell University)|Sep 30, 2020

Natural Language Processing Techniques参考文献 9被引用数 4

ひとこと要約

この論文は、高品質な社内ウェブクロールコーパスを用いて word2vec、GloVe、fastText でトレーニングされた、キリル文字表記ウズベク語用の最初の公開可能語彙埋め込みを提示している。得られたベクトル表現は、テキスト分類、固有表現抽出、意味的類似性などの下流NLPタスクにおける性能向上を可能にする。

ABSTRACT

In this paper, we share the process of developing word embeddings for the Cyrillic variant of the Uzbek language. The result of our work is the first publicly available set of word vectors trained on the word2vec, GloVe, and fastText algorithms using a high-quality web crawl corpus developed in-house. The developed word embeddings can be used in many natural language processing downstream tasks.

研究の動機と目的

• 現代のNLP技術を用いて、ウズベク語用の最初の公開可能な語彙埋め込みを開発すること。
• 強固な語彙表現を学習するための、高品質で大規模なウズベク語キリル文字表記の単語彙コーパスを構築すること。
• word2vec、GloVe、fastText の複数の事前学習アルゴリズムが、ウズベク語テキスト上でどのように性能を発揮するかを評価・比較すること。
• 下流NLPタスクにおけるウズベク語の支援を図るために、基盤となるNLPリソースを提供すること。
• トルコ系および中央アジア言語における低リソースNLP分野の研究開発を促進すること。

提案手法

• ウズベク語キリル文字表記の大規模な社内ウェブクロールコーパスを用いて、word2vec の skip-gram および CBOW アーキテクチャによる語彙埋め込みのトレーニング。
• 同じコーパスから得た共起行列の因子分解を用いて、GloVe アルゴリズムを適用し、語ベクトルを学習すること。
• アグリュティネイティブ言語（ウズベク語など）における活用を改善するため、subwordレベルのベクトル表現を学習するために fastText を実装すること。
• 言語的正確性とカバー範囲を確保するため、約15億トークンの洗練された高品質な単語彙コーパスを用いること。
• トークン化、小文字化、低頻度語および未知語（OOV）語のフィルタリングを含む標準的な前処理手順を適用すること。
• 内在的評価および外在的評価の両方を用いてモデル品質を評価し、類推的推論および下流分類タスクを含む。

実験結果

リサーチクエスチョン

• RQ1 現代の事前学習技術を用いて、ウズベク語用に効果的な語彙埋め込みを学習できるか？
• RQ2 同じウズベク語単語彙コーパス上で、word2vec、GloVe、fastText は、意味的および文法的要因をどの程度的確に捉えられるか？
• RQ3 fastText による subword レベルの表現は、語彙が豊富なウズベク語テキストの性能向上にどの程度寄与するか？
• RQ4 得られた埋め込み表現は、ウズベク語の下流NLPタスクにおける強力なベースラインとして機能できるか？
• RQ5 低リソース環境下で、コーパスの品質とサイズは、学習された語ベクトル表現にどのような影響を及えるか？

主な発見

• 著者らは、キリル文字表記のウズベク語用に、複数のアルゴリズムをサポートする最初の公開可能な語彙埋め込みを成功裏にリリースした。
• subwordモデリングにより、アグリュティネイティブ言語に特に有益なため、fastText は word2vec や GloVe を上回る性能を示した。
• 類推的推論および語の類似性ベンチマークを含む、内在的評価タスクにおいて、学習済み埋め込み表現が優れた性能を示した。
• 微調整された埋め込み表現は、テキスト分類や固有表現抽出などの下流NLPタスクで顕著な性能向上を実現した。
• 高品質な社内ウェブクロールコーパスは、意味的で強固な語彙表現を学習するために不可欠であった。
• 本研究は、トルコ語系言語における低リソースNLP分野の今後の研究開発を可能にする基盤となるNLPリソースを確立した。