[論文レビュー] To lemmatize or not to lemmatize: how word normalisation affects ELMo performance in word sense disambiguation

Andrey Kutuzov, Elizaveta Kuzmenko|arXiv (Cornell University)|Sep 6, 2019

Topic Modeling参考文献 11被引用数 10

ひとこと要約

この論文は、英語およびロシア語における意味のあいまいさの解消（WSD）において、語彙還元（lemmatization）がELMoの性能を向上させるかを調査している。raw tokensと語彙還元済みのテキストの両方でELMoモデルを学習させたところ、語彙還元は語形に富んだロシア語ではわずかだが一貫したWSDの改善をもたらしたが、英語ではほとんど利益が得られず、言語の語形構造に応じて言語的前処理の重要性が依然として残っていることを示している。

ABSTRACT

We critically evaluate the widespread assumption that deep learning NLP models do not require lemmatized input. To test this, we trained versions of contextualised word embedding ELMo models on raw tokenized corpora and on the corpora with word tokens replaced by their lemmas. Then, these models were evaluated on the word sense disambiguation task. This was done for the English and Russian languages. The experiments showed that while lemmatization is indeed not necessary for English, the situation is different for Russian. It seems that for rich-morphology languages, using lemmatized training and testing data yields small but consistent improvements: at least for word sense disambiguation. This means that the decisions about text pre-processing before training ELMo should consider the linguistic nature of the language in question.

研究の動機と目的

• ELMoのようなディープラーニングNLPモデルは語彙還元やその他の正規化を必要としないという仮定に挑戦すること。
• raw tokenized textと比較して、語彙還元されたコーパスで学習させたELMoのWSD性能が向上するかどうかを評価すること。
• 語彙還元の影響が、語形が複雑な言語（特に英語：低語形複雑性）と語形に富んだ言語（ロシア語：高語形複雑性）でどのように異なるかを調査すること。
• 語彙還元が、意味的に異なるか類似した意味を持つ語のあいまいな語に特に影響を及ぼすかどうか、WSDスコアの一貫性と安定性に与える影響を検討すること。

提案手法

• 同じ訓練コーパス（英語Wikipediaとロシア語Wikipedia + RNC）のraw版と語彙還元版の両方で、ELMoモデルを再訓練した。
• tokenizationと語彙還元にUDPipeを使用し、英語で約96%、ロシア語で約97%の正確度を達成した。
• 2つのWSDベンチマーク（英語：Senseval-3、ロシア語：RUSSE’18）を用いて評価し、主に名詞のターゲット語に焦点を当てた。
• ELMoの上位レイヤーから文脈依存的な語の表現を抽出し、それらを用いてWSDの分類器を学習させた。
• 両言語の複数のターゲット語において、raw tokensとlemma形式で学習したモデルのF1スコアを比較した。
• 語形変化を持つ語と持たない語における語彙還元の影響を分析し、語形情報の喪失によって性能が低下したケースを特に検討した。

実験結果

リサーチクエスチョン

• RQ1 訓練データおよびテストデータの語彙還元が、英語およびロシア語におけるELMoのWSD性能を向上させるか？
• RQ2 語彙還元の利点は、言語の語形複雑性に依存するか？
• RQ3 なぜ一部の語では語彙還元によって顕著な性能低下が生じるのか、特にロシア語において？
• RQ4 語形変化を持つ語形の有無が、lemmaベースとtokenベースのELMoモデルの相対的な性能にどのように影響するか？
• RQ5 語彙還元は、異なる語の意味に対してWSDの安定性と一貫性をどの程度向上させるか？

主な発見

• 英語では、語彙還元によるWSD性能の向上はほとんどなく、F1差は0.01未満であり、統計的に有意ではなかった。
• ロシア語では、語彙還元によりわずかだが一貫したWSDの向上が見られ、複数のターゲット語でF1上昇が確認された。特に意味的に明確に異なる意味を持つ語で顕著だった。
• アクチャ（‘stock/share’）やクロナ（‘crown/tree’）といった語では、lemmaベースのモデルで顕著なF1向上が見られ、文脈の区別がよくなったと示唆された。
• ドミノ（‘domino game/costume’）はlemmaベースのモデルでわずかに性能が低下したが、これは語形変化がなく、文脈的な語形的手がかりが失われたためと推察された。
• バイカやガボチカのように、異なる意味で異なるlemmaを持つ語では、lemmaベースのモデルで顕著なF1向上が見られ、語彙還元の品質が結果に直接影響することが確認された。
• 結果から、語彙還元は語形に富んだ言語において、複数の語形を適切に処理できるようにモデルを支援するが、語形変化のない語や借用語では、語形的文脈情報が失われることで性能が低下する可能性があることが示された。