[論文レビュー] Wikipedia2Vec: An Efficient Toolkit for Learning and Visualizing the Embeddings of Words and Entities from Wikipedia

Ikuya Yamada, Akari Asai+5 more|arXiv (Cornell University)|Dec 15, 2018

Topic Modeling参考文献 37被引用数 41

ひとこと要約

Wikipedia2Vecは、Wikipediaから語とエンティティの埋め込みを共同で学習するPythonオープンソースツールであり、エンティティ関連度で最先端の結果を達成し、標準的な語の埋め込みベンチマークでも競争力の性能を示し、対話型のウェブデモと事前学習済みの多言語埋め込みを提供します。

ABSTRACT

The embeddings of entities in a large knowledge base (e.g., Wikipedia) are highly beneficial for solving various natural language tasks that involve real world knowledge. In this paper, we present Wikipedia2Vec, a Python-based open-source tool for learning the embeddings of words and entities from Wikipedia. The proposed tool enables users to learn the embeddings efficiently by issuing a single command with a Wikipedia dump file as an argument. We also introduce a web-based demonstration of our tool that allows users to visualize and explore the learned embeddings. In our experiments, our tool achieved a state-of-the-art result on the KORE entity relatedness dataset, and competitive results on various standard benchmark datasets. Furthermore, our tool has been used as a key component in various recent studies. We publicize the source code, demonstration, and the pretrained embeddings for 12 languages at https://wikipedia2vec.github.io.

研究の動機と目的

• Wikipediaから語とエンティティの共同埋め込みを学習するためのスケーラブルな方法を提供する。
• 語、アンカー文脈、およびリンクグラフ信号を組み合わせることで埋め込みの品質を向上させる。
• 単一コマンド操作で高速かつ使いやすいトレーニングワークフローを提供する。
• 学習済みの埋め込みを探索するための視覚的でインタラクティブなツールを提供する。
• 事前学習済みの多言語埋め込みを公開し、コミュニティ利用のためのオープンソースコードを提供する。

提案手法

• 語ベースのスキップグラム、アンカー文脈、リンクグラフモデルの3つのサブモデルを共同で最適化する。
• 語とエンティティをVとUの2つの埋め込み行列を用いて共通のd次元ベクトル空間に表現する。
• 目的関数のソフトマックスを近似するためにネガティブサンプリングを用い、確率的勾配降下法で学習する。
• アンカー文脈を豊かにするためにメンション-エンティティ辞書を用いて自動的にハイパーリンクを生成する。
• 効率的なデータ構造: リンクグラフにはCSR疎行列、メンション検出にはAho–Corasick。
• 埋め込みを可視化するために次元削減（t-SNE、UMAP、PCA）を用いたウェブベースのデモを提供する。

実験結果

リサーチクエスチョン

• RQ1 Wikipediaから共同学習した語とエンティティの埋め込みは、エンティティ関連度および語の埋め込みベンチマークでベースラインを上回ることができるか？
• RQ2 アンカー文脈とリンクグラフ信号を組み込むことは、語のみのモデルと比べて埋め込みの品質にどう影響するか？
• RQ3 トレーニングプロセスは gensim や fastText のような既設の語埋め込みツールと競える程度に効率的か？
• RQ4 自動生成されたハイパーリンクは実践で埋め込みの品質に寄与するか？
• RQ5 埋め込みはインタラクティブなウェブデモを通じて効果的に可視化・探索できるか？

主な発見

Name	Score
Ours	0.71
Ours (w/o link graph model)	0.61
Ours (w/o hyperlink generation)	0.69
RDF2Vec Ristoski et al. ( 2018 )	0.69
Wiki2vec	0.52

• KOREのエンティティ関連度データセット（Table 1）で最先端の結果を達成。
• エンティティ埋め込みでRDF2VecとWiki2vecのベースラインを上回り、語埋め込みの性能も競争力があることを示した（Table 2）。
• リンクグラフとアンカー文脈信号はKOREの性能を向上させる一方、ハイパーリンク生成は語タスクには混合的または限定的な利点をもたらす。
• 語ベースのスキップグラム単独は gensim および fastText より高速で、全体のモデル学習時間はベースラインと同程度。
• 12言語分の事前学習済み埋め込みを提供し、オープンソースコードとデモツールを公開。
• ウェブデモは語とエンティティの2D/3D可視化と類似度検索を可能にする。