[論文レビュー] Wikipedia2Vec: An Optimized Implementation for Learning Embeddings from Wikipedia

Ikuya Yamada, Akari Asai+3 more|arXiv (Cornell University)|Dec 15, 2018

Wikis in Education and Collaboration被引用数 4

ひとこと要約

Wikipedia2Vec は、1つのコマンドで Wikipedia ダンプから単語およびエンティティ埋め込みを効率的に学習する Python ベースのオープンソースツールです。KORE エンティティ類似度データセットにおいて最先端の性能を達成し、標準ベンチマークでも競争力のある結果を示しており、12 言語分の事前学習済み埋め込みが利用可能です。

ABSTRACT

The embeddings of entities in a large knowledge base (e.g., Wikipedia) are highly beneficial for solving various natural language tasks that involve real world knowledge. In this paper, we present Wikipedia2Vec, a Python-based open-source tool for learning the embeddings of words and entities from Wikipedia. The proposed tool enables users to learn the embeddings efficiently by issuing a single command with a Wikipedia dump file as an argument. We also introduce a web-based demonstration of our tool that allows users to visualize and explore the learned embeddings. In our experiments, our tool achieved a state-of-the-art result on the KORE entity relatedness dataset, and competitive results on various standard benchmark datasets. Furthermore, our tool has been used as a key component in various recent studies. We publicize the source code, demonstration, and the pretrained embeddings for 12 languages at this https URL.

研究の動機と目的

• Wikipedia ダンプから単語およびエンティティ埋め込みを学習するための効率的で使いやすいツールの開発。
• 研究者や実務家が複雑な設定なしに、簡単に学習または事前学習済み埋め込みを利用できるようにすること。
• 12 言語分の事前学習済み埋め込みを提供することで、多言語知識表現を支援すること。
• 標準ベンチマークにおいて優れた性能を示し、特に KORE エンティティ類似度データセットで最先端の結果を達成すること。

提案手法

• ツールは、Wikipedia ダンプファイルを入力として受け取る単一のコマンドラインインターフェースを採用。
• 単語およびエンティティの分散表現を学習するために、スキップグラムに類似したアーキテクチャを活用。
• 大規模な Wikipedia テキスト上でモデルを学習し、意味的および文法的関係を捉える。
• エンティティ埋め込みは、訓練コーパス内での特別なトークンとしてエンティティを扱うことで学習。
• 異なる言語の Wikipedia ダンプを処理することで、多言語学習をサポート。
• Web ベースのインターフェースにより、学習済み埋め込みのインタラクティブな可視化と探索が可能。

実験結果

リサーチクエスチョン

• RQ1 スリムでコマンドラインインターフェースを備えたツールは、生の Wikipedia ダンプから高品質な単語およびエンティティ埋め込みを効率的に学習できるか？
• RQ2 Wikipedia2Vec の性能は、既存の手法と比較して標準のエンティティ類似度および NLP ベンチマークでどうなるか？
• RQ3 Wikipedia2Vec が提供する事前学習済み埋め込みは、複数の言語にわたってどれほど一般化可能か？
• RQ4 このツールは、下流の NLP 研究において効果的に再利用可能な基盤コンponentとして機能できるか？

主な発見

• Wikipedia2Vec は KORE エンティティ類似度ベンチマークで最先端の結果を達成し、先行手法を上回った。
• さまざまな標準ベンチマークデータセットにおいても、競争力のある性能を示し、その有効性を確認した。
• 12 言語分の事前学習済み埋め込みが公開されており、多言語応用が可能になった。
• このツールは、複数の最近の研究においてキーコンポーネントとして採用されており、実用的価値が裏付けられている。
• Web デモにより、学習済み埋め込みの直感的な探索と可視化が可能になった。