[論文レビュー] Measuring Word Significance using Distributed Representations of Words

Adriaan M. J. Schakel, Benjamin J. Wilson|arXiv (Cornell University)|Aug 10, 2015

Natural Language Processing Techniques参考文献 11被引用数 46

ひとこと要約

本稿では、語の頻度（TF）と組み合わせたword2vecベクトルのL2ノルム（長さ）を、テキストコーパス内での語の重要性の指標として提案する。長めのベクトルは文脈的に特徴的で意味のある語（特に内容語）に対応し、短いベクトルは機能語に集約される。これにより、重要性に基づく2次元可視化が可能となり、意味的関連性と解釈可能性を保ったt-SNEとは異なった代替手法を提供する。

ABSTRACT

Distributed representations of words as real-valued vectors in a relatively low-dimensional space aim at extracting syntactic and semantic features from large text corpora. A recently introduced neural network, named word2vec (Mikolov et al., 2013a; Mikolov et al., 2013b), was shown to encode semantic information in the direction of the word vectors. In this brief report, it is proposed to use the length of the vectors, together with the term frequency, as measure of word significance in a corpus. Experimental evidence using a domain-specific corpus of abstracts is presented to support this proposal. A useful visualization technique for text corpora emerges, where words are mapped onto a two-dimensional plane and automatically ranked by significance.

研究の動機と目的

• 語の頻度（TF）のみに依存する手法の限界を是正すること。これは、機能語と内容語を混同してしまうためである。
• 分散表現の大きさ（L2ノルム）が方向性を超えて意味的意義を有するかどうかを検証すること。
• 類似性ではなく重要性に基づいて語を順序付けする、テキストコーパスのための2次元可視化技術を開発すること。
• 提案手法をt-SNEと比較し、解釈可能性と重要性に基づく順序付けの優位性を強調すること。
• 科学的アブストラクトのドメイン特化コーパス（hep-th arXiv論文）を用いて手法を検証すること。

提案手法

• hep-th arXivの29,000件の科学的アブストラクトからなるコーパス上でword2vecを学習し、分散語表現を生成する。
• 各語のベクトル表現のL2ノルム（ベクトル長）を計算し、文脈的特徴性の指標とする。
• ベクトル長と語の頻度（TF）を組み合わせ、各語の重要性スコアを算出する。
• ベクトル長をy軸、TFをx軸とする散布図として全語彙を可視化し、重要性に基づく順序付けを可能にする。
• POSタギング（Stanford NLP）を用いて語を品詞に分類し、語の種別ごとのベクトル長分布を分析する。
• 提案手法の可視化をt-SNEと比較し、重要性に基づく順序付けによって解釈可能性が保たれることを強調する。

実験結果

リサーチクエスチョン

• RQ1 word2vecベクトルのL2ノルムは、コーパス内での語の重要性を信頼できる代理指標として機能するか？
• RQ2 ベクトル長は語の種別（例：内容語 vs 機能語）および語の頻度とどのように相関するか？
• RQ3 ベクトル長と語の頻度を組み合わせることで、頻度のみに依存する手法に比べ、意味的関連性の高い語の同定が改善されるか？
• RQ4 v-TF散布図は、類似性に基づく手法（例：t-SNE）とは異なり、効果的で解釈可能なテキストコーパス可視化ツールとして機能するか？
• RQ5 他の語表現モデル（例：GloVe、log-bilinear）でも、ベクトルの大きさが重要性をエンコードしているか？

主な発見

• ベクトル長が大きく、語の頻度が中程度以上である語は、主に名詞や形容詞といった内容語であり、文脈的特徴性が強いことを示している。
• 機能語（例：前置詞、代名詞）は、頻度が高くても常に短いベクトル長を示し、意味的意義が低いことが確認された。
• 文脈的に特徴的な固有名詞は、同程度の頻度でも機能語よりも長いベクトル長を示し、v-TFプロット上で明確に分離された。
• 動詞や副詞は中間的なベクトル長を示し、低頻度では機能語と重複するが、頻度が高くなると分離する。
• v-TF散布図は、t-SNEが類似性を最優先にするのに対し、語が重要性の順に自然に並べられる意味的で解釈可能な可視化を提供する。
• 同じ語の頻度であっても、意味的に豊富な語と機能語を明確に区別でき、ベクトル長が重要性の指標として有効であることが検証された。