[論文レビュー] Are Word Embedding-based Features Useful for Sarcasm Detection?

Aditya Joshi, Vaibhav Tripathi+3 more|arXiv (Cornell University)|Oct 4, 2016

Sentiment Analysis and Opinion Mining参考文献 18被引用数 16

ひとこと要約

本稿では、スラング的でない、感情を含まない皮肉を検出するための、従来の皮肉検出特徴量に、単語埋め込みに基づく類似度および不一致スコアを追加することを提案する。文内の語群の対についてコサイン類似度を測定することで（特に類似度が最も高いおよび最も低い対）、文脈の不一致を捉え、複数の特徴セットおよび埋め込みタイプにおいて最大4%のFスコア向上を達成する。特にWord2Vecおよび従属構造重み付き埋め込みが最も高い向上を示す。

ABSTRACT

This paper makes a simple increment to state-of-the-art in sarcasm detection research. Existing approaches are unable to capture subtle forms of context incongruity which lies at the heart of sarcasm. We explore if prior work can be enhanced using semantic similarity/discordance between word embeddings. We augment word embedding-based features to four feature sets reported in the past. We also experiment with four types of word embeddings. We observe an improvement in sarcasm detection, irrespective of the word embedding used or the original feature set to which our features are augmented. For example, this augmentation results in an improvement in F-score of around 4\% for three out of these four feature sets, and a minor degradation in case of the fourth, when Word2Vec embeddings are used. Finally, a comparison of the four embeddings shows that Word2Vec and dependency weight-based features outperform LSA and GloVe, in terms of their benefit to sarcasm detection.

研究の動機と目的

• 従来の皮肉検出手法が感情を示す語に依存しているため、感情を含まない微妙な皮肉を捉えることが難しいという限界を解消すること。
• 単語埋め込み間の意味的類似度および不一致が、皮肉における文脈の不一致を効果的に示す指標として機能するかどうかを調査すること。
• 4つの既存の皮肉検出特徴セットに単語埋め込みベースの特徴を追加することによる影響を評価すること。
• Word2Vec、GloVe、LSA、従属構造重み付き埋め込みの4種類の単語埋め込みタイプが、皮肉検出にどの程度効果的であるかを比較すること。
• 単語埋め込みから導出される類似度ベースおよび重み付き類似度ベースの特徴が、皮肉検出性能を向上させるかどうかを検討すること。

提案手法

• 本手法は、2種類の単語埋め込みベースの特徴を導入する：類似度ベース（語群対間の最大および最小コサイン類似度）と重み付き類似度ベース（文内の語群対間の距離に応じて重み付けされた類似度）。
• 4つの事前学習済み埋め込みモデル（Word2Vec、GloVe、LSA、従属構造重み付き埋め込み）を用いて、単語埋め込み間のコサイン類似度スコアを計算する。
• これらの特徴は、4つの既に報告済みの皮肉検出特徴セット（ユニグラム、LIWCベース特徴、標点および感情パターン特徴、暗黙的/明示的不一致特徴）に体系的に追加される。
• 評価はベンチマークデータセットを用いたFスコアに基づき、埋め込みタイプおよび特徴組み合わせの比較を通じて実施される。
• 重み付き類似度特徴は、文内の語群対間の距離に基づいて線形減衰関数を類似度スコアに適用する。
• 全組み合わせの埋め込みタイプと元の特徴セットを用いて実験を行い、提案特徴の汎用性および頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 既存の特徴セットに単語埋め込みベースの類似度および不一致特徴を追加することで、皮肉検出性能が向上するか？
• RQ2 感情語を含まない文において、語の意味的類似度の組み合わせが皮肉検出を向上させるか？
• RQ3 Word2Vec、GloVe、LSA、または従属構造重み付き埋め込みのうち、どの埋め込みタイプが皮肉検出のFスコア向上に最も寄与するか？
• RQ4 文法的距離を考慮する重み付き類似度特徴は、重みなし類似度特徴に比べて皮肉の兆候をどれほど効果的に捉えられるか？
• RQ5 単語埋め込みベースの特徴の利点は、多様な皮肉検出モデルおよびデータセットにおいて一貫して得られるか？

主な発見

• Word2Vec埋め込みを用いた場合、4つの既存特徴セットのうち3つにおいて、単語埋め込みベースの特徴を追加することでFスコアが約4%向上した。
• Word2Vec埋め込みを用いた場合、4つの元の特徴セットのうち1つでのみ、単語埋め込み特徴の追加によりFスコアがわずかに低下した。
• Word2Vecおよび従属構造重み付き埋め込みが最も高い平均Fスコア向上（それぞれ1.143%および1.048%）を示し、LSA（0.452%）およびGloVe（0.651%）を上回った。
• 重み付き類似度ベースの特徴は、全埋め込みタイプおよび特徴セットにおいて、重みなし類似度特徴を常に上回った。
• 本研究では、意味的に無関係な語群対間のコサイン類似度が低い（＝意味的不一致）ことが、感情語が存在しない文においても皮肉の強い兆候であることが確認された。
• 誤差解析により、多義語の処理の限界、対話履歴が必要な文脈的皮肉、および非皮肉的文における隱喩の処理が不十分であることが判明し、誤検出を引き起こす要因となった。