[論文レビュー] Sentiment Analysis of Citations Using Word2vec

Haixia Liu|arXiv (Cornell University)|Apr 1, 2017

Advanced Text Analysis Techniques参考文献 6被引用数 42

ひとこと要約

本稿では、ACL-Embeddingsと極性固有埋め込みを用いた平均化された単語ベクトルに基づくword2vecベースの文埋め込み（sent2vec）が、引用文のセンチメント分析にどの程度有効であるかを調査している。結果として、二値の肯定的／否定的引用分類においてword2vecは優れた性能（マクロ-F 0.85）を示したが、手動で特徴を設計した特徴量が全体的に優れており、特に暗黙的引用分類やバランスの取れたデータセットにおいて顕著に優位であった。

ABSTRACT

Citation sentiment analysis is an important task in scientific paper analysis. Existing machine learning techniques for citation sentiment analysis are focusing on labor-intensive feature engineering, which requires large annotated corpus. As an automatic feature extraction tool, word2vec has been successfully applied to sentiment analysis of short texts. In this work, I conducted empirical research with the question: how well does word2vec work on the sentiment analysis of citations? The proposed method constructed sentence vectors (sent2vec) by averaging the word embeddings, which were learned from Anthology Collections (ACL-Embeddings). I also investigated polarity-specific word embeddings (PS-Embeddings) for classifying positive and negative citations. The sentence vectors formed a feature space, to which the examined citation sentence was mapped to. Those features were input into classifiers (support vector machines) for supervised classification. Using 10-cross-validation scheme, evaluation was conducted on a set of annotated citations. The results showed that word embeddings are effective on classifying positive and negative citations. However, hand-crafted features performed better for the overall classification.

研究の動機と目的

• 手動による特徴量設計なしに、word2vecベースの文埋め込みが引用文のセンチメント分類に有効に機能するかどうかを評価すること。
• 極性固有の単語埋め込みが、引用文のセンチメントタスクにおける分類性能を向上させるかどうかを調査すること。
• 暗黙的引用（明示的なセンチメントの兆候が欠如している）に対してword2vecがどの程度の性能を示すかを評価すること。
• 異なるコーパス（ACL-Embeddings 対 Brown コーパス）で学習されたword2vec埋め込みおよび異なる次元数の効果を比較すること。
• ニューラルネットワークベースの埋め込みが、従来の手動特徴量と同等またはそれを上回る性能を示すかどうかを検証すること。

提案手法

• ACL-Embeddingsコーパス上で事前学習されたword2vecモデルの単語ベクトルを平均化することで、文埋め込み（sent2vec）を構築した。
• 肯定的および否定的引用サブセット上で微調整することで、極性固有の単語埋め込み（PS-Embeddings）を学習し、感情に特化した表現を捉えた。
• 手動でアノテートされた引用文データセット上で、10分割交差検証を用いて分類性能を評価した。
• 各引用文を固定長のベクトルに変換するため、sent2vecを用い、それをサポートベクターマシン（SVM）による教師あり分類の入力とした。
• ACL-Embeddings（100D, 300D）、Brownコーパス（100D）、PS-Embeddings（300D）といった複数の埋め込みタイプの性能を比較した。
• クラスの不均衡を考慮し、全体の性能を評価するために、マイクロ-F、マクロ-F、加重-Fスコアを用いて評価した。

実験結果

リサーチクエスチョン

• RQ1 word2vecは、肯定的および否定的引用分類にどの程度効果的に機能するか？
• RQ2 感情に特化した単語埋め込みは、一般の埋め込みと比較して分類結果を改善できるか？
• RQ3 暗黙的引用（客観的、否定的、肯定的、除外）の分類において、word2vecはどの程度の性能を示すか？
• RQ4 一般的に、word2vecは手動特徴量と比較して、肯定的・否定的・客観的引用分類においてどの程度の性能を示すか？

主な発見

• word2vecベースのsent2vecは、二値の肯定的／否定的引用分類において、マクロ-Fスコア0.85、加重-Fスコア0.86を達成し、強力な有効性を示した。
• ACL-Embeddings（300D）はBrownコーパス（100D）を上回り、マクロ-F（0.33 対 0.31）および加重-F（0.82 対 0.81）で優れた性能を示した。これはコーパス選択の重要性を示している。
• 100Dと300DのACL-Embeddings間には有意な差がなく、次元数の増加が必ずしも性能向上を意味しないことを示した。
• 極性固有埋め込み（PS-ACL300）は、一般のACL-Embeddings（マクロ-F 0.84 対 0.85）と比較して性能向上が見られず、先行研究の予想とは逆の結果となった。
• 暗黙的引用分類において、sent2vecはマクロ-F 0.44を達成し、ベースライン（0.47）と同等の性能を示した。また、客観的引用の検出において最も優れた性能（Fスコア 0.84）を示した。
• 基本データセットではマイクロ-Fが0.88と高く評価されたが、word2vecは手動特徴量（例：n-gram + 依存関係、マクロ-F 0.90）に比べて性能が劣っており、特に不均衡データにおいて顕著であった。