[論文レビュー] SuperSim: a test set for word similarity and relatedness in Swedish

Simon Hengchen, Nina Tahmasebi|arXiv (Cornell University)|Apr 12, 2021

Topic Modeling参考文献 26被引用数 5

ひとこと要約

SuperSim は、スウェーデン語における語の類似性と関連性を対象とした大規模で専門家がアノテートしたテストセットであり、5人のアノテーターが類似性と関連性の両方について0〜10のスケールで評価した1,360組の語のペアを含む。これはスウェーデン語の語埋め込みのベンチマークを提供し、関連性は類似性よりも一般的にモデル化が容易であることが示され、スウェーデン語ギガワードのような大規模コーパスで学習させることで、Word2Vec、fastText、GloVeを含むさまざまなモデルの性能が向上することがわかった。

ABSTRACT

Language models are notoriously difficult to evaluate. We release SuperSim, a large-scale similarity and relatedness test set for Swedish built with expert human judgments. The test set is composed of 1,360 word-pairs independently judged for both relatedness and similarity by five annotators. We evaluate three different models (Word2Vec, fastText, and GloVe) trained on two separate Swedish datasets, namely the Swedish Gigaword corpus and a Swedish Wikipedia dump, to provide a baseline for future comparison. We release the fully annotated test set, code, baseline models, and data.

研究の動機と目的

• スウェーデン語における類似性と関連性の両方について、高品質で専門家がアノテートしたテストセットが不足しているという問題に対処すること。
• 国際的なデータセット（例：SimLex-999 や WordSim353）に comparable な標準化されたベンチマークを提供し、スウェーデン語の語埋め込みモデルを評価すること。
• 研究者がスウェーデン語の語彙的意味論において意味的類似性と関連性を区別できるようにすること。
• 2つの異なるスウェーデン語コーパス（スウェーデン語ギガワードとスウェーデン語Wikipediaダンプ）で学習された複数の事前学習済みモデル（Word2Vec、fastText、GloVe）を用いて、モデル性能のベースラインを確立すること。
• 今後のスウェーデン語における語彙的意味論、語埋め込み、言語モデルの評価に関する研究を支援すること。

提案手法

• テストセットは、英語の SimLex-999 および WordSim353 データセットに含まれる1,360組の語のペアをスウェーデン語に翻訳することで構築された。
• 5人の専門家が、それぞれ類似性と関連性について0〜10のスケールで独立して評価し、高品質な人間による検証済み判断を保証した。
• データセットは完全に公開されており、アノテーション、コード、ベースラインモデル、学習データを含む。モデルはスウェーデン語ギガワードコーパスおよびスウェーデン語Wikipediaダンプで学習された。
• アノテーター間の一貫性を検証するために、アノテーター間一致度が測定され、類似性よりも関連性の一致度が高かった。
• ベースライン評価は、2つのコーパスで微調整された Word2Vec、fastText、GloVe モデルを用いて実施され、テストセットにおける spearman 順位相関により性能が評価された。
• 研究では、類似性と関連性の両方のタスクにおいてモデルの性能を比較し、コーパスサイズやモデルアーキテクチャの違いに応じたモデルの挙動の差を明らかにした。

実験結果

リサーチクエスチョン

• RQ1 異なる語埋め込みモデルは、スウェーデン語における類似性と関連性のための新しい専門家アノテート済みテストセットで、どのように性能を発揮するか？
• RQ2 より大規模で多様なコーパス（例：スウェーデン語ギガワード）で学習させることで、より小規模でドメイン特化したコーパス（例：Wikipedia）と比較して、類似性および関連性タスクの性能が向上するか？
• RQ3 類似性と関連性はスウェーデン語において明確に区別できる意味的次元であるか？また、モデルは両方を効果的に捉えることができるか？
• RQ4 スウェーデン語において、類似性と関連性の判断の間でアノテーター間一致度はどのように比較されるか？
• RQ5 既存のモデルは、類似性が高くないが関連性が高い語のペア、または逆に、関連性が高くないが類似性が高い語のペアの違いをどの程度正しく捉えられるか？

主な発見

• SuperSim テストセットには、5人の専門家が類似性と関連性の両方についてアノテートした1,360組の語のペアが含まれており、国際的なベンチマークと同等のアノテーター間一致度を示している。
• 関連性は類似性よりも常に判断が簡単であり、関連性のアノテーター間一致度（kappa ~0.68）が類似性のもの（kappa ~0.58）よりも高い。
• すべてのモデルがスウェーデン語ギガワードコーパスで学習した場合に、Wikipediaダンプで学習した場合よりも高い性能を示した。fastText はギガワードで類似性（0.528）と関連性（0.550）の両方で最高の性能を達成した。
• GloVe は Wikipedia コーパスで Word2Vec や fastText よりも優れており、関連性（0.349）と類似性（0.365）の両方で最高の相関を示した。
• 結果から、関連性タスクは類似性タスクよりも一般的に容易であることが確認され、すべてのモデルが両方のデータセットで関連性タスクでより高い性能を示した。
• 類似性スコアが関連性スコアを上回る語のペアはわずか4組にとどまり、差が0.6未満であった。これは、類似性が高くないが関連性が高いケースは一般的であるが、逆はそうではないことを示している。