[論文レビュー] Text comparison using word vector representations and dimensionality reduction

Hendrik Heuer|arXiv (Cornell University)|Jul 2, 2016

Topic Modeling参考文献 5被引用数 11

ひとこと要約

本稿では、単語埋め込み（word2vec）とt-SNEを用いた次元削減を活用し、意味的に類似した語を空間的クラスタにマップする可視化手法を提案する。この手法により、Wikipediaの改訂履歴や要約といったテキストソース間のトピックの類似性や相違を、ユニーク語、共有語、排他的語を色分けして表示する2次元インタラクティブマップを通じて探索可能となる。これは意味的類似性に基づいた地理的インターフェースを提供するが、図示的な使用事例を除いては実証的検証が行われていない。

ABSTRACT

This paper describes a technique to compare large text sources using word vector representations (word2vec) and dimensionality reduction (t-SNE) and how it can be implemented using Python. The technique provides a bird's-eye view of text sources, e.g. text summaries and their source material, and enables users to explore text sources like a geographical map. Word vector representations capture many linguistic properties such as gender, tense, plurality and even semantic concepts like "capital city of". Using dimensionality reduction, a 2D map can be computed where semantically similar words are close to each other. The technique uses the word2vec model from the gensim Python library and t-SNE from scikit-learn.

研究の動機と目的

• 要約作成における編集意思決定を支援する視覚的テキスト比較ツールの開発。複数のソースにおけるトピックカバレッジの可視化を目的とする。
• 語の頻度にのみ注目するが意味的類似性を無視する従来のテキスト可視化手法（例：ワードクラウド）の限界を是正すること。
• 意味的に類似した語が空間的に近接するように配置された地図として、テキストソースを探索可能にする。
• 語ベクトル表現と次元削減技術が、テキスト改訂における微細なトピック変化を検出するのに有効であることを示すこと。
• Pythonベースのword2vecとt-SNEの実装を用いて、オープンソースでインタラクティブなツールとしてテキストソースを比較可能にする。

提案手法

• gensimライブラリを用いてテキストからword2vec埋め込みを生成し、語の意味的・文法的関係を捉える。
• 高次元の語ベクトルをt-SNEを用いて2次元空間に削減し、局所的な意味的類似性を保持する。
• 3つの語集合を計算する：ソースAに固有の語、ソースBに固有の語、両方のソースに共通する語。
• 2次元マップにおける視覚的差別化のため、各語集合に異なる色を割り当てる。
• 得られた2次元マップをインタラクティブでズーム可能な可視化としてレンダリングし、クラスタの探索や語集合の可視性切り替えが可能となる。
• フルスタックのPythonとJavaScriptパイプラインで実装。データはJSON形式でエクスポートされ、ウェブベースのフロントエンドで可視化される。

実験結果

リサーチクエスチョン

• RQ1 word2vecとt-SNEを組み合わせることで、解釈可能でインタラクティブなテキストトピック類似性の可視化が実現可能か？
• RQ2 得られた2次元マップは、Wikipediaの改訂など2つのテキストソース間の意味的クラスタとトピックの相違をどの程度明確に示せるか？
• RQ3 この手法は、視覚的にカバー済みのトピックと欠落しているトピックを強調することで、要約作成における編集意思決定をどの程度支援できるか？
• RQ4 この手法は、進化するテキストにおける名前付きエンティティの追加・削除といった微細なトピックシフトを検出できるか？
• RQ5 色分けされたインタラクティブマップは、従来の語頻度可視化やワードクラウド手法と比較して、テキストソースの探索をどの程度向上させるか？

主な発見

• 意味的に類似した語が空間的クラスタにグループ化される2次元可視化が成功裏に生成され、直感的なトピック探索が可能となった。
• 可視化により、あるソースに固有の語、両方のソースに共有される語、一方に欠落している語を明確に特定でき、トピックカバレッジの把握が容易になった。
• 『ゲーム・オブ・シェイムズ』のWikipedia記事において、2013年から2015年の改訂間で追加・削除された登場人物が明確に可視化され、赤とオレンジのマーカーで変更が示された。
• 米国、第二次世界大戦、『ゲーム・オブ・シェイムズ』といった異なる記事のグローバルクラスタマップは、それぞれ異なる意味的構造を示しており、トピック構成の違いが反映されている。
• ズーム機能と語集合の切り替え機能を備えたインタラクティブな探索が可能で、テキストソース間の広範な類似性と微細な相違を分析できる。
• 本手法は、検索クエリやキーワードといった異種のソース同士の比較に対しても有効であり、Google検索履歴のような個人データへの応用も可能である。