[論文レビュー] Exploring Swedish & English fastText Embeddings for NER with the Transformer

Tosin Adewumi, Foteini Liwicki+1 more|arXiv (Cornell University)|Jul 23, 2020

Topic Modeling参考文献 31被引用数 5

ひとこと要約

本稿では、スウェーデン語および英語のfastText埋め込みを、Transformerベースの名前付きエンティティ認識（NER）システムで評価し、より小さな、最適にハイパーパrameter化されたデータセットが、Common Crawlのような大きなデータセットを上回ることを示している。本稿は、公開可能な最初のスウェーデン語アナロジー評価セットを提供し、語彙的に豊かなスウェーデン語ではサブワードn-gramが性能を著しく向上させることを発見した一方で、より大きな学習データを用いたword2vecベースのCBoWモデルが英語では最も優れた性能を示した。

ABSTRACT

In this paper, our main contributions are that embeddings from relatively smaller corpora can outperform ones from larger corpora and we make the new Swedish analogy test set publicly available. To achieve a good network performance in natural language processing (NLP) downstream tasks, several factors play important roles: dataset size, the right hyper-parameters, and well-trained embeddings. We show that, with the right set of hyper-parameters, good network performance can be reached even on smaller datasets. We evaluate the embeddings at both the intrinsic and extrinsic levels. The embeddings are deployed with the Transformer in named entity recognition (NER) task and significance tests conducted. This is done for both Swedish and English. We obtain better performance in both languages on the downstream task with smaller training data, compared to recently released, Common Crawl versions; and character n-grams appear useful for Swedish, a morphologically rich language.

研究の動機と目的

• 英語およびスウェーデン語のNERタスクにおいて、より小さなコーパスで学習されたfastText埋め込みと、Common Crawlのような大きなデータセットで学習された埋め込みの性能を評価すること。
• 語彙埋め込みの内在的評価のための、公開可能な最初のスウェーデン語アナロジー評価セットの開発およびリリース。
• ハイパーパramータチューニングが埋め込み品質および下流のNER性能に与える影響を調査すること。
• スウェーデン語のような語彙的に豊かな言語において、文字n-gramの有効性を英語と比較して評価すること。

提案手法

• 英語およびスウェーデン語のコーパス上で、文字n-gram（n=5）を用いたskipgram-negative samplingによるfastText埋め込みの学習、窓サイズを変化させること。
• 内在的評価としてアナロジーおよびWordSim-353テスト、外在的評価としてTransformerベースのNERモデルを用いた評価。
• 両言語における最適なハイパーパramータ（窓サイズ、ネガティブサンプリング、サブワードレベル対ワードレベル）を特定するためのグリッドサーチの実施。
• ブートストラップベースの有意性検定を用いて、異なる埋め込み間のモデル性能差を比較。
• 最良の性能を示した埋め込みを用いてTransformerモデルをNERタスクで学習し、F1スコア、適合率、再現率を報告。
• 専門家による検証を経た語のアナロジーを含む新しいスウェーデン語アナロジー評価セットの作成および検証。

実験結果

リサーチクエスチョン

• RQ1 スウェーデン語および英語の下流のNERタスクにおいて、より小さなコーパスで学習されたfastText埋め込みが、Common Crawlのような大きなデータセットで学習されたものよりも優れているかどうか。
• RQ2 スウェーデン語のような語彙的に豊かな言語において、文字n-gramが英語と比較してどれほど性能向上に寄与するか。
• RQ3 アナロジーおよびWordSim-353による内在的評価が、下流のNER性能を信頼性を持って予測できるか。
• RQ4 ハイパーパramータの選択（窓サイズ、ネガティブサンプリング、サブワード対ワードレベル）がNERにおけるモデル性能にどのように影響するか。
• RQ5 スウェーデン語および英語のNERタスクにおいて、word2vecとサブワードベースのfastText埋め込みの間で顕著な性能差が生じるか。

主な発見

• サブワードベースのfastText埋め込みは、より小さなコーパスで学習されたものの方が、スウェーデン語NERでより優れた性能を示し、F1スコアは0.591（word2vec：0.492）を記録した。
• 英語では、窓サイズ8およびネガティブサンプリング（w8s0h0）を用いたword2vec CBoWモデルが、F1スコア0.720を達成し、サブワードおよびより大きなCommon Crawlベースの埋め込みを上回った。
• スウェーデン語のサブワードモデル（w4s1h1）は、新しいアナロジー評価セットでスピアマン相関74.7を達成し、優れた内在的品質を示した。
• 有意性検定の結果、英語で最も優れた埋め込み間の性能差は偶然によるものではない可能性が高く（95%信頼区間：[0.0003, 0.1674]）、一方スウェーデン語では有意差は確認されなかった（95%信頼区間：[-0.3257, 0.169]）。
• Transformerモデルは、わずか5エポックで収束したため、従来のLSTMベースのモデルと比較して学習がはるかに速かった。
• 本研究は、データセットサイズを増やすだけでは性能向上が保証されないことを確認した。最適なハイパーパramータの選定が、高い性能を達成するために不可欠である。