[論文レビュー] Toward Incorporation of Relevant Documents in word2vec

Navid Rekabsaz, Bhaskar Mitra+2 more|arXiv (Cornell University)|Jul 20, 2017

Topic Modeling参考文献 26被引用数 6

ひとこと要約

本稿では、共起確率を正確に捉えることで、局所的なクエリ関連ドキュメントを単語埋め込みに効果的に統合可能な、解釈可能で明示的な語の表現を、Skip-Gramモデルから導出した新規手法を提案する。この手法は、類似語の検索において最先端の明示的表現を上回り、局所的ドキュメントコンテンツを用いたグローバル単語ベクトルの適応に5つの関数を導入しており、予備の結果では関連性の整合性が向上していることが示された。

ABSTRACT

Recent advances in neural word embedding provide significant benefit to various information retrieval tasks. However as shown by recent studies, adapting the embedding models for the needs of IR tasks can bring considerable further improvements. The embedding models in general define the term relatedness by exploiting the terms' co-occurrences in short-window contexts. An alternative (and well-studied) approach in IR for related terms to a query is using local information i.e. a set of top-retrieved documents. In view of these two methods of term relatedness, in this work, we report our study on incorporating the local information of the query in the word embeddings. One main challenge in this direction is that the dense vectors of word embeddings and their estimation of term-to-term relatedness remain difficult to interpret and hard to analyze. As an alternative, explicit word representations propose vectors whose dimensions are easily interpretable, and recent methods show competitive performance to the dense vectors. We introduce a neural-based explicit representation, rooted in the conceptual ideas of the word2vec Skip-Gram model. The method provides interpretable explicit vectors while keeping the effectiveness of the Skip-Gram model. The evaluation of various explicit representations on word association collections shows that the newly proposed method out- performs the state-of-the-art explicit representations when tasked with ranking highly similar terms. Based on the introduced ex- plicit representation, we discuss our approaches on integrating local documents in globally-trained embedding models and discuss the preliminary results.

研究の動機と目的

• 情報検索で用いられる高次元単語埋め込みの解釈不能性、特にグローバルな共起パターンに起因するトピックのシフト問題を解決すること。
• Skip-Gramの有効性を保ちつつ、ベクトル次元の明確な解釈を可能にする明示的語の表現を開発すること。
• 事前学習済み単語埋め込みに、局所的ドキュメント情報（例：上位k件の検索結果ドキュメント）を効率的に統合する方法を検討し、クエリ固有の語の類似性を向上させること。
• 解釈可能なベクトルによる局所的関連性信号の統合が、語の関連性および類似性タスクの性能向上に寄与するかどうかを評価すること。

提案手法

• 各次元が文脈語に対応する新しい明示的語の表現を提案。ベクトル値は、語と文脈語の間の真正の共起確率を、Skip-Gramモデルから導出する。
• ロジスティック関数を用いて、局所的ドキュメント関連性に基づき、グローバル共起値 $v(w,c)$ を再重み付けし、$\hat{v}(w,c)$ を得る。学習可能なパラメータ $a$ と $b$ を用いる。
• 5つの関数 $f_1$ から $f_5$ を定義し、局所的ドキュメント情報を統合する：(1) 文脈語の存在（バイナリ）、(2) 局所的対グローバルコーパスにおける相対的語の頻度、(3) 局所的対グローバル共起比、(4) ドキュメント言語モデルを用いた関連性モデル、(5) ドキュメント言語モデル下での語と文脈語の同時確率。
• 上位k件の検索ドキュメントの言語モデルを推定するために、$\mu=1500$ のディリクレ平滑化を採用する。
• 次元が特定の文脈語に対応するように設計されているため、ベクトル表現は解釈可能であり、因果分析やトピックの挿入が可能である。
• 語関連性ベンチマーク上で評価し、特に上位k件の類似語検索性能に注目する。

実験結果

リサーチクエスチョン

• RQ1 Skip-Gramの有効性を保ちつつ、ベクトル次元の完全な解釈性を実現できる明示的語の表現を設計できるか？
• RQ2 上位k件の検索ドキュメントなどの局所的ドキュメント情報を、事前学習済み単語埋め込みに効果的かつ効率的に統合する方法は何か？
• RQ3 語の頻度、共起、言語モデルなどの局所的関連性信号統合に適した関数はどれか？その統合により、情報検索タスクにおける単語ベクトルの適応がどの程度向上するか？
• RQ4 提案手法は、クエリ語の類似語を検索するタスクで、既存の明示的表現を上回る性能を示すか？

主な発見

• 提案された明示的表現は、語関連性ベンチマークにおいて、最先端の明示的手法と同等の性能を達成した。
• 特定の語の上位類似語を検索するタスクにおいて、既存の明示的表現を上回った。これは、意味的類似性への感受性が向上したことを示している。
• $f_1$ 法は、局所ドキュメント内での文脈語の存在のみを考慮するが、最小限の改善に留まり、語の頻度と重み付けの重要性が示された。
• $f_2$ と $f_3$ 関数（相対的頻度と共起比を用いる）は、ベクトル適応の向上に強く有望な兆しなどを示した。
• $f_4$ と $f_5$ 関数（関連性モデルとドキュメント言語モデル下での同時確率を用いる）は、クエリとドキュメントの両方の文脈を統合したため、最も有望な結果を示した。
• 予備の結果から、解釈可能なベクトルを介した局所的ドキュメントコンテンツの統合により、トピックのずれが効果的に低減され、情報検索タスクにおける関連性の整合性が向上することが示唆された。