[論文レビュー] Non-distributional Word Vector Representations

Manaal Faruqui, Chris Dyer|arXiv (Cornell University)|Jun 17, 2015

Topic Modeling参考文献 34被引用数 16

ひとこと要約

本稿では、WordNet や FrameNet、Supersenses などのリソースから手作業で作成された言語的特徴を用いて、解釈可能で非分布的（distributionalでない）単語ベクトルを生成する手法を提案する。これらのベクトルはバイナリであり、99.9%がスパース（ゼロ）であり、各次元が言語的特徴（例：品詞、意味フレーム、感情）を表しており、意味的および句構造的評価ベンチマークにおいて最先端の分布的モデルと同等の性能を達成している。

ABSTRACT

Data-driven representation learning for words is a technique of central importance in NLP. While indisputably useful as a source of features in downstream tasks, such vectors tend to consist of uninterpretable components whose relationship to the categories of traditional lexical semantic theories is tenuous at best. We present a method for constructing interpretable word vectors from hand-crafted linguistic resources like WordNet, FrameNet etc. These vectors are binary (i.e, contain only 0 and 1) and are 99.9% sparse. We analyze their performance on state-of-the-art evaluation methods for distributional models of word vectors and find they are competitive to standard distributional approaches.

研究の動機と目的

• 伝統的な語彙的意味論理論と整合する解釈可能な単語ベクトル表現を開発すること。
• 分布的単語ベクトルに見られる、解釈不能なベクトル成分の欠如を克服すること。
• 言語的由来の非分布的ベクトルが、標準的なベンチマークで分布的モデルと同等の性能を示すかどうかを評価すること。
• タスクに依存しない、特徴工学された言語的リソースからのベクトル表現が、自然言語処理タスクで競争力を持つことを示すこと。
• 密度的で分布的に学習された単語埋め込みの完全に解釈可能な代替手段を提供すること。

提案手法

• 事前に存在するリソースからの言語的特徴に対応する各次元が1つの言語的特徴を表す、バイナリで極めてスパース（約99.9%がゼロ）な単語ベクトルを構築する。
• WordNet（同義語群、上位概念、下位概念、全体-部分関係、対義語、関連語）、FrameNet（フレームと役割、品詞タグ）、Supersenses（名詞、動詞、形容詞の意味分野）から特徴を抽出する。
• 感情や感情の辞書（例：Mohammad & Turney, 2013）を追加のバイナリ特徴として統合する。
• 品詞タグと語の関係（同義語、対義語）を特徴として用い、各特徴を1（存在する）または0（存在しない）として符号化する。
• 複数の言語的リソースからの特徴を統合し、すべてのリソースの特徴の和集合として統一されたベクトル空間を構築する。
• 単語の共起統計を排除することで、ベクトルが非分布的であることを保証し、シンボリックな言語的知識にのみ依存する。

実験結果

リサーチクエスチョン

• RQ1 言語的由来の非分布的単語ベクトルは、最先端の分布的単語ベクトルと同等の性能を達成できるか？
• RQ2 シンボリックな言語的リソースから得た解釈可能でバイナリかつスパースなベクトルは、どの程度意味的および句構造的関係を捉えられるか？
• RQ3 語の類似度やアナロジー課題などの内在的評価ベンチマークにおいて、これらのベクトルは分布的モデルと比べてどうなるか？
• RQ4 タスクに依存しない、特徴工学されたベクトル表現は、多様な自然言語処理評価タスクに一般化できるか？
• RQ5 複数の言語的リソース（例：WordNet, FrameNet, 感情辞書）を組み合わせることで、ベクトルの質とカバー範囲にどのような影響があるか？

主な発見

• 提案手法による言語的単語ベクトルは、語の類似度やアナロジー課題を含む、内在的評価ベンチマークで最先端の分布的モデルと同等の性能を達成した。
• バイナリであり、99.9%がスパースであるにもかかわらず、SimLex-999 などの意味的類似度評価で強い性能を示しており、意味的および句構造的関係を有意義に捉えていることが裏付けられた。
• ベクトルは完全に解釈可能であり、各次元が直接的に言語的特徴（例：'Verb.Frame.Regard' や 'SS.Noun.Feeling'）に対応しており、明確な意味的分析が可能である。
• 多様な語彙的リソースにわたる高いカバー範囲を達成した：すべての特徴の和集合は119,257語と172,418の異なる言語的特徴をカバーした。
• 数十億語の学習データで訓練されたモデルと同等の性能を示したため、分布的統計を一切用いずに、シンボリック知識からも強固な表現が得られることを示した。
• ベクトルは https://github.com/mfaruqui/non-distributional で公開されており、NLPコミュニティによる再利用とベンチマークが可能である。