[論文レビュー] Semantic Word Clusters Using Signed Normalized Graph Cuts

João Sedoc, Jean Gallier+2 more|arXiv (Cornell University)|Jan 20, 2016

Topic Modeling参考文献 25被引用数 7

ひとこと要約

本稿では、語彙辞書からの対義語関係を分布的単語埋め込みに統合することで、意味的に整合性のある同義語クラスタの作成を可能にする、新しい符号付きスペクトル正規化グラフカットアルゴリズムを提案する。対義語に対して負の重みをモデル化し、既存のベクトル表現を活用することで、SimLex-999およびセンチメント予測のクラスタリング精度が著しく向上し、純粋な埋め込みモデルおよび語彙辞書ベースのベースラインを上回る。

ABSTRACT

Vector space representations of words capture many aspects of word similarity, but such methods tend to make vector spaces in which antonyms (as well as synonyms) are close to each other. We present a new signed spectral normalized graph cut algorithm, signed clustering, that overlays existing thesauri upon distributionally derived vector representations of words, so that antonym relationships between word pairs are represented by negative weights. Our signed clustering algorithm produces clusters of words which simultaneously capture distributional and synonym relations. We evaluate these clusters against the SimLex-999 dataset (Hill et al.,2014) of human judgments of word pair similarities, and also show the benefit of using our clusters to predict the sentiment of a given text.

研究の動機と目的

• 分布的単語埋め込みが対義語関係を捉えられていないという限界に対処する。具体的には、'great' と 'awful' のような意味的に反対の語がベクトル空間で誤って近接してしまう問題である。
• 分布的類似性と語彙辞書からの明示的な意味的関係（特に対義語）を統合することで、より正確で言語学的に意味のある単語クラスタを形成する手法を開発する。
• 特定の単語埋め込みモデルに依存しない汎用的なクラスタリングフレームワークを構築する。これにより、さまざまなベクトル空間表現に適用可能である。
• 提案手法のクラスタが、意味的類似性ベンチマークおよびセンチメント分析などの下流NLPタスクにおいて有効であるかを評価する。

提案手法

• 外部の語彙辞書から得られる対義語関係を用いて、負のエッジ重みを導入することで、マルチクラス正規化カットを符号付きグラフに拡張する。
• ノードを語として定義し、正のエッジは単語埋め込みからの分布的類似性を表し、負のエッジは語彙辞書からの対義語関係を表す符号付きグラフを構築する。
• 正規化カットを最小化するとともに、正負の関係を尊重するように、一般化固有値問題を解くことでグラフをクラスタに分割する。
• 符号付き正規化カットの理論的枠組みに基づき、従来の正規化カットおよびスペクトルクラスタリングを拡張した解決策を導出する。
• 単語埋め込み（例：Word2Vec、GloVe）に、語彙辞書から得た対義語関係を負の重みとして重ね塗りすることで、元のベクトル空間構造を保持する。
• クラスタリングの評価は、人間による類似度判断との完全一致とセンチメント分類のパフォーマンスを用いて行う。

実験結果

リサーチクエスチョン

• RQ1 語彙辞書からの対義語関係を単語埋め込みに統合することで、標準的なクラスタリング手法と比較して、意味的単語クラスタの質が向上するか？
• RQ2 符号付きクラスタリングのパフォーマンスは、純粋な単語埋め込みクラスタリングおよび語彙辞書照合と比較してどのように異なるか？
• RQ3 符号付きクラスタリング手法は、ベースラインモデルと比較して、センチメント分類の正確性をどの程度向上させるか？
• RQ4 提案手法は、さまざまな単語埋め込みモデルに一般化可能であり、再訓練なしに有効に機能するか？

主な発見

• Word2Vecに統合された語彙辞書照合を組み合わせた場合、符号付きクラスタリング手法はSimLex-999ベンチマークで0.96の正確度を達成し、個々の手法を著しく上回った。
• センチメント分析において、最先端のモデル（CNN：0.881）を上回り、Word2Vec埋め込みを用いて0.836の正確度を達成した。RNNおよびRNTNモデルをも上回った。
• ベースラインクラスタリング手法よりも優れた性能を示した。Word2Vec単体では0.36の正確度であったが、符号付きクラスタリング手法ではセンチメント予測で0.836の正確度に到達した。
• 語彙辞書単体の照合（0.90の正確度）よりも優れたカバー範囲と正確度を示し、EigenwordsおよびGloVeベースの手法をも上回った。
• 語彙辞書と単語埋め込みを符号付きクラスタリングで統合することで、標準的なスペクトルクラスタリングに比べて、SimLex-999におけるクラスタリング正確度が20%向上した。
• さまざまな埋め込みタイプに対して頑健な性能を示し、Word2Vec、GloVe、Eigenwordsに適用した場合に一貫した性能向上を達成した。