[論文レビュー] `Who would have thought of that!': A Hierarchical Topic Model for Extraction of Sarcasm-prevalent Topics and Sarcasm Detection

Aditya Joshi, Prayas Jain+2 more|arXiv (Cornell University)|Nov 14, 2016

Sentiment Analysis and Opinion Mining参考文献 20被引用数 5

ひとこと要約

本論文では、ツイート内のセンチメント語分布を分析することで、皮肉が頻発するトピックを特定する教師あり階層的トピックモデルを提案する。トピック、センチメント、ラベルスイッチ変数をモデル化することで、従来の特徴ベース分類器よりもFスコアで25%高い性能を達成し、'仕事' や '天気' といったトピックが顕著に皮肉的であることが明らかになった。

ABSTRACT

Topic Models have been reported to be beneficial for aspect-based sentiment analysis. This paper reports a simple topic model for sarcasm detection, a first, to the best of our knowledge. Designed on the basis of the intuition that sarcastic tweets are likely to have a mixture of words of both sentiments as against tweets with literal sentiment (either positive or negative), our hierarchical topic model discovers sarcasm-prevalent topics and topic-level sentiment. Using a dataset of tweets labeled using hashtags, the model estimates topic-level, and sentiment-level distributions. Our evaluation shows that topics such as `work', `gun laws', `weather' are sarcasm-prevalent topics. Our model is also able to discover the mixture of sentiment-bearing words that exist in a text of a given sentiment-related label. Finally, we apply our model to predict sarcasm in tweets. We outperform two prior work based on statistical classifiers with specific features, by around 25\%.

研究の動機と目的

• 自然言語における皮肉検出の課題に、これまで皮肉に応用されてこなかったトピックモデリングの技術を活用して対処すること。
• ツイート内のセンチメント語の分布を分析することで、本質的に皮肉を含みやすいトピックを同定すること。
• 皮肉なコンテンツに特徴的なポジティブおよびネガティブセンチメント語の混合をモデル化することで、皮肉検出の性能を向上させること。
• 意味のある皮肉的トピックを抽出し、それらを下流の皮肉分類タスクに活用できるかどうかを評価すること。
• トピックモデリングが、従来の特徴ベース分類器よりも皮肉検出タスクで優れる可能性を示すこと。

提案手法

• 本モデルは、教師あり潜在ディリクレ配分（LDA）を拡張し、トピック（z）、センチメント（s）、およびスイッチ変数（is）という3つの潜在変数を導入して、センチメント語をモデル化する。
• センチメントラベルは、トピック内におけるセンチメント語の混合によって決定される条件付き分布の連鎖を用いる。
• 166,955件のラベル付きツイート（ポジティブ、ネガティブ、皮肉）からなるコーパスを用いて、トピックレベルおよびセンチメントレベルの分布を推定する。
• 2つの推論手法を用いる：対数尤度に基づく予測（尤度が最も高いラベルを選択）と、MCMCにおける最後にサンプリングされたラベルを用いる推論。
• 本モデルは、各トピックおよびツイートレベルのセンチメントラベルごとに、センチメント語の割合を学習し、皮肉的でないツイートと比較して特徴的なセンチメント混合を捉える。
• 評価には、皮肉的トピックの定性的分析と、2つの従来の特徴ベース皮肉検出手法との定量的比較が含まれる。

実験結果

リサーチクエスチョン

• RQ1 センチメント語の分布によって示されるように、どのトピックが本質的に皮肉を含みやすいとされるか？
• RQ2 トピックモデルは、皮肉的ツイートと肯定的・否定的ツイートの間で顕著な異なるセンチメント混合パターンを効果的に捉えることができるか？
• RQ3 従来の特徴ベース分類器と比較して、トピックモデルはどの程度皮肉検出の性能を向上させることができるか？
• RQ4 本モデルの見解によれば、肯定的でない、否定的でない、および皮肉的なツイートの間で、センチメント語の分布はどのように異なるか？
• RQ5 同定された皮肉的トピックは、エンドツーエンドの皮肉検出タスクに効果的に活用できるか？

主な発見

• 本モデルは、'仕事'、'銃の法規制'、'天気' といった皮肉的トピックを効果的に特定し、高いセンチメント混合を示していることがわかった。
• 皮肉的ツイートは、肯定的または否定的ツイートとは著しく異なるセンチメント分布を示しており、多くの場合、ポジティブセンチメント語の割合が非常に高いことが明らかになった。
• 対数尤度に基づく推論手法はFスコア41.34%を達成し、2つの従来の特徴ベース手法（Fスコア約18–19%）を約25ポイント上回った。
• サンプリングに基づく手法はFスコア21.42%を達成し、対数尤度推論が本タスクにおいてより効果的であることが示された。
• 本モデルの定性的な結果から、センチメント混合が皮肉の重要な兆候であることが確認され、皮肉的ツイートではバランスの取れたまたは混合されたセンチメント語の割合が観察された。
• 本モデルは、トピックモデリングが皮肉検出のためのテーマ的およびセンチメント構造を効果的に抽出できることを示し、特徴工学の代替手段としての新規なアプローチを提供した。