[論文レビュー] Document Embedding with Paragraph Vectors

Andrew M. Dai, Christopher Olah+1 more|arXiv (Cornell University)|Jul 29, 2015

Topic Modeling参考文献 5被引用数 266

ひとこと要約

この論文は、文書レベルのメモリベクトルと単語埋め込みを組み合わせることで、文書全体の密な分散表現を学習するニューラルネットワークベースの手法、Paragraph Vectorsを提案する。Wikipedia や arXiv 論文において、LDA や bag-of-words モデルと比較して優れた性能を示し、100次元で最適な性能を発揮し、word2vec と同様の意味的なベクトル演算が可能である。

ABSTRACT

Paragraph Vectors has been recently proposed as an unsupervised method for learning distributed representations for pieces of texts. In their work, the authors showed that the method can learn an embedding of movie review texts which can be leveraged for sentiment analysis. That proof of concept, while encouraging, was rather narrow. Here we consider tasks other than sentiment analysis, provide a more thorough comparison of Paragraph Vectors to other document modelling algorithms such as Latent Dirichlet Allocation, and evaluate performance of the method as we vary the dimensionality of the learned representation. We benchmarked the models on two document similarity data sets, one from Wikipedia, one from arXiv. We observe that the Paragraph Vector method performs significantly better than other methods, and propose a simple improvement to enhance embedding quality. Somewhat surprisingly, we also show that much like word embeddings, vector operations on Paragraph Vectors can perform useful semantic results.

研究の動機と目的

• 感情分析を超えた文書類似度タスク、例えば Wikipedia や arXiv 論文の検索において Paragraph Vectors を評価すること。
• LDA や bag-of-words といった既存手法と比較し、性能およびハイパーパrameterの変更に対する頑健性を検証すること。
• Paragraph Vectors のベクトル演算が、word2vec と同様に意味的に意味のある結果をもたらすかどうかを調査すること。
• 単語埋め込みを同時に訓練することによる、paragraph vector の品質への影響を調査すること。

提案手法

• 文書固有のメモリベクトルをローカルな単語ベクトルと連結し、シーケンス内の次の単語を予測するように、分散型 bag-of-words モデルを用いる。
• 確率的勾配降下法を用いて、文書ベクトルと単語埋め込みを同時に学習し、次の単語予測を最適化する。
• 推論では、トレーニング後は単語ベクトルと分類器パラメータを破棄し、文書ベクトルのみを用いる。
• 効率的なトレーニングのため、ハフマン木を用いた階層的ソフトマックスを採用し、文書類似度の測定にはコサイン類似度を用いる。
• 単語埋め込みと paragraph vectors を同時に訓練する変種を含み、最終的な表現品質の向上を図っている。
• t-SNE 視覚化とトリプレットベースの評価を用いて、Wikipedia や arXiv コーパスにおける意味的類似度を測定する。

実験結果

リサーチクエスチョン

• RQ1 長文書間の意味的類似度を捉える際、Paragraph Vectors は LDA や bag-of-words モデルと比較してどの程度優れているか？
• RQ2 embedding 次元数の変更に伴い、Paragraph Vectors の性能に顕著な変化が生じるか、最適なサイズがあるか？
• RQ3 paragraph vectors におけるベクトル演算は、例えば異なる言語の同等の記事を特定するなど、意味的に意味のある結果をもたらすか？
• RQ4 単語埋め込みを paragraph vectors と同時に訓練することで、paragraph vectors の品質が向上するか？
• RQ5 embedding サイズやトピック数などのハイパーパrameterの変更に対して、Paragraph Vectors と LDA はどの程度感度を示すか？

主な発見

• Paragraph Vectors は 100 次元で arXiv トリプレットデータセットにおいて 85.0% の精度を達成し、最良の LDA 設定と同等の性能を示した。
• Wikipedia 論文における意味的類似度タスクにおいて、すべてのテストされた埋め込みサイズで Paragraph Vectors は LDA を上回った。
• embedding 次元数にかかわらず一貫した性能を示し、100 次元でピークを示した。LDA がトピック数の変更に対して敏感であるのと比較し、Paragraph Vectors はサイズ変更に対してより頑健であった。
• paragraph vectors におけるベクトル演算は、意味的に意味のある結果をもたらした。例えば、「Lady Gaga」の日本語版を特定したり、「Distributed Representations of Sentences and Documents」に類似する論文を特定するなどした。
• 単語埋め込みを paragraph vectors と同時に訓練することで、埋め込み品質に顕著な向上が見られた。
• この手法は、Wikipedia や arXiv の両方で関連する論文を効果的に検索でき、局所的および非局所的コーパスナビゲーションにおける実用性を示した。