[論文レビュー] Keywords lie far from the mean of all words in local vector space

Eirini Papagiannopoulou, Grigorios Tsoumakas+1 more|arXiv (Cornell University)|Aug 21, 2020

Advanced Text Analysis Techniques参考文献 47被引用数 4

ひとこと要約

本稿では、文書の単語分布を局所的単語ベクトル表現を用いてモデル化し、キーワード候補をその分布の中心（平均ベクトル）からの距離と初出位置に基づいてランク付けする、教師なしキーワード抽出手法を提案する。キーワードは非キーワード語の平均から遠く離れていることが示され、コサイン類似度ではなくユークリッド距離およびマハラノビス距離を用いることで、最先端の教師なし手法を上回る性能を発揮する。

ABSTRACT

Keyword extraction is an important document process that aims at finding a small set of terms that concisely describe a document's topics. The most popular state-of-the-art unsupervised approaches belong to the family of the graph-based methods that build a graph-of-words and use various centrality measures to score the nodes (candidate keywords). In this work, we follow a different path to detect the keywords from a text document by modeling the main distribution of the document's words using local word vector representations. Then, we rank the candidates based on their position in the text and the distance between the corresponding local vectors and the main distribution's center. We confirm the high performance of our approach compared to strong baselines and state-of-the-art unsupervised keyword extraction methods, through an extended experimental study, investigating the properties of the local representations.

研究の動機と目的

• 外部ツールや事前学習済み埋め込みに依存しない教師なしキーワード抽出手法の開発。
• 局所的単語ベクトル表現が、文書の非キーワード語の意味的中心を効果的にモデル化できるかの調査。
• ユークリッド距離やマハラノビス距離といった距離尺度が、キーワードと非キーワードを区別する上でコサイン類似度を上回る有効性の評価。
• キーワードが局所的ベクトル空間における語の主な分布から統計的に遠く離れていることを実証。
• 頑健統計と位置特徴がキーワードランク付け性能に与える影響の調査。

提案手法

• 各単語の周囲のスライディングウィンドウを用いて局所的単語ベクトル表現を構築し、共起パターンを捉える。
• 文書に含まれるすべての語の平均ベクトル（分布の中心）を計算し、非キーワード語の主な意味的塊を表す。
• 各候補キーワードを、その平均ベクトルからのユークリッド距離またはマハラノビス距離と、テキスト内での初出位置に基づく複合スコアでスコア付けする。
• マハラノビス距離を用いて単語ベクトル分布の共分散構造を考慮し、外れ値（キーワード）の識別を向上。
• MCDなどの頑健推定器を用いて中心と共分散行列を推定し、推定段階における外れ値への感受性を低減。
• 複合スコアが大きい順にキーワードをランク付けし、スコアが高いほど関連性が高くなるようにする。

実験結果

リサーチクエスチョン

• RQ1 文書におけるキーワードは、局所的ベクトル空間におけるすべての単語ベクトルの平均から遠く離れている傾向があるか？
• RQ2 ウィンドウ内での共起に基づく単純な局所的ベクトル表現は、GloVeのような事前学習済み埋め込みと同等の性能を発揮できるか？
• RQ3 マハラノビス距離によるベクトルの大きさや共分散の取り扱いは、コサインベースの手法に比べてキーワード検出性能を向上させるか？
• RQ4 初出位置とベクトル距離の組み合わせが、キーワードランク付け性能にどのように寄与するか？
• RQ5 頑健統計を用いることで、分布中心の推定が向上し、全体のキーワード抽出性能が向上するか？

主な発見

• キーワードは、局所的ベクトル空間におけるすべての語の平均ベクトルから一貫して遠く離れていることが確認され、本手法の核心的直感が裏付けられた。
• Article Iでは、提案手法LV bが上位15件中6語すべてのキーワードを検出し、LVおよびFWNベースラインを上回った。
• Article IIでは、LV bは上位15件に50％のキーワードを検出できなかったが、完全なLV手法は早期に出現した「dynamic」というキーワードを正しく検出できた。
• ウィンドウ内での共起に基づく単純な局所的ベクトルは、十分な統計的情報を保持しており、事前学習済みGloVe埋め込みと同等またはそれを上回る性能を発揮することが示された。
• マハラノビス距離を用いることで、コサイン類似度に比べて性能が著しく向上し、特にキーワードベクトルの特異な挙動を捉えるのに有効であった。
• 中心と共分散行列の頑健推定は、ノイズが多いまたは外れ値が多めの分布においても安定性と性能を向上させた。