[論文レビュー] Class Vectors: Embedding representation of Document Classes

Devendra Singh Sachan, Shailesh Kumar|arXiv (Cornell University)|Aug 2, 2015

Sentiment Analysis and Opinion Mining参考文献 13被引用数 3

ひとこと要約

この論文では、文書のクラスを単語や段落と同じ埋め込み空間内に密集したベクトル表現として学習するクラスベクトルという手法を紹介する。スキップグラムモデルを変更して、単語埋め込みとクラスベクトルを同時に学習することで、クラスベクトルと単語ベクトルのコサイン類似度をテキスト分類の特徴として用い、Yelp や Amazon のレビューのようなセンチメント分析タスクで最先端の性能を達成した。

ABSTRACT

Distributed representations of words and paragraphs as semantic embeddings in high dimensional data are used across a number of Natural Language Understanding tasks such as retrieval, translation, and classification. In this work, we propose "Class Vectors" - a framework for learning a vector per class in the same embedding space as the word and paragraph embeddings. Similarity between these class vectors and word vectors are used as features to classify a document to a class. In experiment on several sentiment analysis tasks such as Yelp reviews and Amazon electronic product reviews, class vectors have shown better or comparable results in classification while learning very meaningful class embeddings.

研究の動機と目的

• 従来のテキスト分類手法がスパースな bag-of-words 特徴に依存するという制限を克服し、密度的で意味的なクラス表現を導入すること。
• 単語や段落の埋め込みと同様に、クラスレベルの埋め込みが判別的な意味的パターンを捉えられるかを検討すること。
• 語彙内の単語とクラスベクトルの意味的類似度を活用することで、ドキュメント分類の性能を向上させること。
• センチメント分析ベンチマークを用いて、低リソースおよび高リソース環境下でのクラスベクトルの有効性を評価すること。
• 判別的な単語との意味的類似度分析を通じて、学習されたクラスベクトルの解釈可能性と質を調査すること。

提案手法

• モデルはスキップグラムフレームワークを拡張し、単語ベクトルとクラスベクトルを共有された埋め込み空間で同時に学習する。
• 各クラスは、その対応するドキュメント内で、スライディングウィンドウ内に含まれるすべての単語と同時に出現する固有のクラスIDで表される。
• 目的関数は、標準的なスキップグラム予測損失と、そのクラスベクトルが与えられたときに単語を予測する尤度を最大化する新しい項を組み合わせる。
• クラスベクトルと単語の類似度はドット積とソフトマックス正規化を用いて計算され、各クラスの確率スコアが得られる。
• 大規模な目的関数を効率的に最適化するために、ネガティブサンプリングと階層的ソフトマックスが使用される。
• 分類の際には、単語-クラス類似度スコアを特徴量として用い、ロジスティック回帰分類器を適用する。

実験結果

リサーチクエスチョン

• RQ1 単語埋め込みと同じベクトル空間にクラスレベルの埋め込みを効果的に学習できるか、テキスト分類の性能向上に寄与するか。
• RQ2 センチメント分類タスクにおいて、クラスベクトルは従来の bag-of-words やディープラーニングベースライン（例：PV-DBOW、CNN）と比較してどのように性能を発揮するか。
• RQ3 クラスベクトルは、各クラスを特徴付ける判別的な単語と意味的な関係を適切に捉えているか。
• RQ4 学習中にコーパスをシャッフルすることや、すべてのクラスを同時に学習させることの、クラスベクトルの質と判別力に与える影響は何か。
• RQ5 クラスベクトルに基づく特徴選択は、従来の頻度ベースの方法に比べて、情報量が多く低頻度の単語を効果的に特定できるか。

主な発見

• Yelp レビューのデータセットでは、ロジスティック回帰を用いた提案手法（CV-LR）が 94.83% の正確度を達成し、CNNベースのアプローチを除くすべてのベースライン手法を上回った。
• Amazon の電子製品レビューデータセットでは、CV-LR モデルが 91.70% の正確度を達成し、bag-of-words、ナイーブベイズ、PV-DBOW のベースラインを上回った。
• クラスベクトルは意味的な関連性を適切に学習していた：ポジティブクラスベクトルは「fantastic」や「awesome」、「very_pleased」と高い類似度を示した一方、ネガティブクラスベクトルは「awful」や「terrible」、「piece_of_crap」と類似していた。
• クラスベクトルの正規化（norm CV-LR）により性能がさらに向上し、Yelp では 94.91% の正確度を達成した。これはスケーリングが一般化性能を向上させることを示している。
• 本手法は、低頻度の単語がクラスと高い相互情報量を持つ可能性があることを示した。これは、従来の文書頻度ベースの特徴選択に比べて優位性を示している。
• トレーニング中にコーパスをシャッフルすることが不可欠であった。分離したクラスデータのみでクラスベクトルを学習した場合、その判別力が著しく低下した。これは、すべてのクラスを同時に学習する必要があることを裏付けた。