[論文レビュー] Word Sense Disambiguation for 158 Languages using Word Embeddings Only

Varvara Logacheva, Денис Тесленко+8 more|MADOC (University of Mannheim)|Mar 14, 2020

Natural Language Processing Techniques参考文献 37被引用数 4

ひとこと要約

本稿では、事前学習済みのfastText単語埋め込みのみを用いて、完全に教師なしで知識を要しない意味解釈のための手法（WSD）を提示する。提案された egvi（エゴグラフ・ベクトルインダクション）アルゴリズムは、意味的類似度に基づいて単語ベクトルをクラスタリングし、意味インベントリを誘導する。これにより、外部リソースを一切必要とせず、158言語におけるWSDが可能となり、リリースされたモデルとオンラインシステムを通じて多言語の意味解釈が可能になる。

ABSTRACT

Disambiguation of word senses in context is easy for humans, but is a major challenge for automatic approaches. Sophisticated supervised and knowledge-based models were developed to solve this task. However, (i) the inherent Zipfian distribution of supervised training instances for a given word and/or (ii) the quality of linguistic knowledge representations motivate the development of completely unsupervised and knowledge-free approaches to word sense disambiguation (WSD). They are particularly useful for under-resourced languages which do not have any resources for building either supervised and/or knowledge-based models. In this paper, we present a method that takes as input a standard pre-trained word embedding model and induces a fully-fledged word sense inventory, which can be used for disambiguation in context. We use this method to induce a collection of sense inventories for 158 languages on the basis of the original pre-trained fastText word embeddings by Grave et al. (2018), enabling WSD in these languages. Models and system are available online.

研究の動機と目的

• 外部知識やアノテート済みコーパスを一切必要としない完全に教師なしのWSD手法の開発。
• 語彙リソースやラベル付き学習データが不足する言語に対しても意味解釈を可能にする。
• グラフクラスタリングを用いて、事前学習済みfastText埋め込みから多言語の意味インベントリを生成する。
• 158言語で即座に意味解釈が可能な、実用的で多言語対応のWSDシステムのリリース。

提案手法

• 本手法は、事前学習済みfastText単語埋め込みから意味的類似度グラフを構築し、ノードを単語ベクトル、エッジをコサイン類似度で表す。
• エゴグラフクラスタリングを適用して、グラフを密に接続された部分グラフに分割し、それぞれが異なる意味を表す。
• 意味ベクトルはクラスタの重心から導出され、文脈における単語を最も近い意味ベクトルに割り当てることで意味解釈が可能になる。
• 本手法は、元の単語埋め込みのみを用いて意味ベクトルのリファインメントを実行し、再学習や外部知識を一切使用しない。
• 入力テキストの言語を特定し、対応する事前に抽出済みの意味インベントリを適用することで、即座に意味解釈が可能になる。
• 本手法は言語に依存せず、分布的仮説を活用して、教師なしで多義語を検出する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み単語埋め込みのみを用いて、外部知識やラベル付きデータなしに意味解釈を達成できるか？
• RQ2 単語埋め込みのグラフクラスタリングは、多様な言語で意味的で整合性のある意味インベントリを効果的に誘導できるか？
• RQ3 教師なしの意味インダクションは、リソースが乏しい環境における下流NLPタスクの性能をどの程度向上できるか？
• RQ4 158言語にわたる単一の手法が、事前学習済み埋め込みのみでスケーリング可能か？
• RQ5 誘導された意味ベクトルの性能は、多言語類似度ベンチマークにおいて非意味解釈済み埋め込みと比べてどの程度優れているか？

主な発見

• 提案された egvi アルゴリズムは、外部リソースを一切必要とせず、事前学習済みfastText埋め込みのみを用いて158言語の意味インベントリを効果的に誘導した。
• 非意味解釈済み単語埋め込みと比較して、多言語類似度ベンチマークで性能が向上し、意味レベルの表現の有効性を示した。
• 本手法は、調査された158言語の大部分に対して、初めて完全に教師なしのWSDシステムを実現した。特にリソースが乏しい言語にとって顕著な利点がある。
• 評価の結果、クラスタリングから導出された意味ベクトルが、意味的類似度スコアを向上させることを確認し、誘導された意味インベントリの質を裏付けた。
• リリースされた意味インベントリとオンラインシステムにより、158言語すべてで即座の意味解釈が可能となり、多言語NLPパイプラインへの実用的導入を可能にした。
• 微調整や教師信号なしでも、平均的にベースラインの非意味解釈済み埋め込みを上回る性能を示した。