[論文レビュー] High Quality ELMo Embeddings for Seven Less-Resourced Languages

Matej Ulčar, Marko Robnik‐Šikonja|arXiv (Cornell University)|Nov 22, 2019

Topic Modeling参考文献 14被引用数 13

ひとこと要約

この論文は、より大きな単語彙的コーパスで訓練された、7つの低リソースで屈曲語彙を持つヨーロッパ言語（クロアチア語、エストニア語、フィンランド語、ラトビア語、リトアニア語、スロベニア語、スウェーデン語）の高品質で事前計算済みのELMo文脈的埋め込みを提示している。著者らは、より大きな訓練データが埋め込み品質を顕著に向上させることを示し、アナロジーおよび名前付きエンティティ認識（NER）タスクにおいて、非文脈的fastText埋め込みおよび既存のELMoForManyLangs（EFML）モデルよりも顕著な性能向上を示している。

ABSTRACT

Recent results show that deep neural networks using contextual embeddings significantly outperform non-contextual embeddings on a majority of text classification task. We offer precomputed embeddings from popular contextual ELMo model for seven languages: Croatian, Estonian, Finnish, Latvian, Lithuanian, Slovenian, and Swedish. We demonstrate that the quality of embeddings strongly depends on the size of training set and show that existing publicly available ELMo embeddings for listed languages shall be improved. We train new ELMo embeddings on much larger training sets and show their advantage over baseline non-contextual FastText embeddings. In evaluation, we use two benchmarks, the analogy task and the NER task.

研究の動機と目的

• NLPリソースが限られた7つの低リソースで屈曲語彙を持つヨーロッパ言語の文脈的単語埋め込みを向上させること。
• 既存の公開ELMo埋め込みの制限、すなわち小規模なコーパスで訓練されているため性能が最適でないという点を是正すること。
• 標準化されたベンチマークを用いて、訓練データサイズが埋め込み品質に与える影響を評価すること。
• 低リソース環境での下流NLPタスクを支援するために、公開可能で高品質なELMo埋め込みを提供すること。
• アナロジーおよびNERタスクにおいて、新しい埋め込みを非文脈的fastTextおよび既存のELMoForManyLangs（EFML）モデルと比較すること。

提案手法

• 3層構造（文字レベルのCNNに続く2つの双方向LSTM（biLM））を用いたELMoモデルを訓練し、層出力の重み付き平均から文脈的表現を抽出する。
• 低リソース環境におけるデータ不足問題を是正するために、各ターゲット言語用により大きな単語彙的テキストコーパスを用いた。
• トークン化、文分割、サブワード正規化を用いて生テキストを前処理し、言語間での堅牢性と一貫性を確保した。
• 高頻度語彙に焦点を当てた語彙構築により、効率性を高めながら、全コーパス上で訓練済みモデルを用いてELMo埋め込みを生成した。
• 2つの標準ベンチマーク（語のアナロジーおよび名前付きエンティティ認識（NER））を用いて埋め込みを評価し、マクロF1スコアを報告した。
• 同一の下流ニューラルネットワークアーキテクチャと、各モデルごとに5つのランダムシードを用いて、非文脈的fastText埋め込みおよびELMoForManyLangs（EFML）モデルとの性能比較を実施し、統計的信頼性を確保した。

実験結果

リサーチクエスチョン

• RQ1 訓練コーパスのサイズを拡大することで、低リソース言語のELMo埋め込み品質が顕著に向上するか？
• RQ2 新たに訓練されたELMo埋め込みは、NERや語のアナロジーなどの下流NLPタスクにおいて、非文脈的fastText埋め込みと比較してどうなるか？
• RQ3 異なる言語およびタスクにおいて、新しいELMo埋め込みは既存のELMoForManyLangs（EFML）モデルと比較してどの程度の性能を示すか？
• RQ4 データセットサイズまたはラベル密度と、NERタスクにおけるELMo埋め込みの性能向上の間に測定可能な相関関係があるか？
• RQ5 屈曲語彙が多く、リソースが限られた言語において、文脈的埋め込みは非文脈的埋め込みと比較して多義語問題をどの程度緩和できるか？

主な発見

• 新しいEMBEDDIA ELMo埋め込みは、7言語すべてにおいてアナロジーおよびNERタスクで非文脈的fastText埋め込みを顕著に上回った。
• NERタスクでは、Croatianで0.82、Estonianで0.91、Finnishで0.92、Latvianで0.83、Lithuanianで0.74、Slovenianで0.85、Swedishで0.88のマクロF1スコアを達成し、fastTextおよびEFMLベースラインを上回った。
• 語のアナロジータスクでは、特にクロアチア語およびフィンランド語において、EFML埋め込みよりも顕著な改善が見られ、より良い意味的捉えが可能であった。
• fastText埋め込みのベースライン性能が低かった言語（例：リトアニア語：fastTextでF1=0.44、EMBEDDIAでF1=0.74）において、EMBEDDIA ELMo埋め込みの性能向上が顕著に現れた。
• NERタスクにおける性能向上とデータセットサイズまたはラベル密度との間に顕著な相関関係は認められなかった。これは、データサイズが埋め込み品質の主要要因ではあるが、唯一の要因ではないことを示唆している。
• Croatian、Finnish、Swedishなど、いくつかの言語において、EFMLが以前に最先端モデルとしてリリースされていたにもかかわらず、EMBEDDIA ELMoモデルがNERでEFMLを上回った。