[論文レビュー] Facebook Reaction-Based Emotion Classifier as Cue for Sarcasm Detection

Po Chen Kuo, Fernando H. Calderon Alvarado+1 more|arXiv (Cornell University)|May 4, 2018

Sentiment Analysis and Opinion Mining参考文献 15被引用数 5

ひとこと要約

本論文は、コメントとの重複するフェイスブックリアクションを弱いラベルとして用いる半教師あり多言語感情検出手法を提案し、リアクション内の矛盾する感情が皮肉検出の手がかりとなるかどうかを評価する。100万件を超える英語および中国語のコメントを用いた実験で、外部知識や手動アノテーションなしに妥当な性能を達成し、リアクションに基づく感情信号が皮肉を効果的に示す可能性を示した。

ABSTRACT

Online social media users react to content in them based on context. Emotions or mood play a significant part of these reactions, which has filled these platforms with opinionated content. Different approaches and applications to make better use of this data are continuously being developed. However, due to the nature of the data, the variety of platforms, and dynamic online user behavior, there are still many issues to be dealt with. It remains a challenge to properly obtain a reliable emotional status from a user prior to posting a comment. This work introduces a methodology that explores semi-supervised multilingual emotion detection based on the overlap of Facebook reactions and textual data. With the resulting emotion detection system we evaluate the possibility of using emotions and user behavior features for the task of sarcasm detection. More than 1 million English and Chinese comments from over 62,000 public Facebook pages posts have been collected and processed, conducted experiments show acceptable performance metrics.

研究の動機と目的

• フェイスブックリアクションとコメントの重複を弱いラベルとして用いる自己教師あり感情分類器の開発。
• リアクションによる検出された矛盾する感情が、ユーザーのコメントにおける皮肉を示す手がかりとなるかどうかの調査。
• 特に英語および中国語を含む多言語文脈における手法の有効性の評価。
• プラットフォームネイティブなユーザ行動を活用することで、手動アノテーションや外部知識への依存を低減すること。
• SNS上での感情表現および皮肉のパターンにおける文化的・言語的差異の探求。

提案手法

• フェイスブックリアクションのクリックと関連するコメントの共通部分を用いて、感情分類のための曖昧で遠隔監督的ラベルを生成する。
• リアクションパターンを代理ラベルとして用い、英語および中国語のコメントデータに対して半教師あり学習フレームワークを適用して感情分類器を訓練する。
• 各コメントにおける感情的トーンを表すために、リアクション分布（例：いいね、ラブ、ワオ、さびしい、怒り）からの感情特徴を抽出する。
• コメントに表れる感情とリアクションが示す支配的でない感情との乖離を分析することで、皮肉検出を評価する。
• テキスト表現にはBOW、TF-IDF、PBLGA特徴を用い、複数のテストセットおよび合意レベルでの評価を実施する。
• 標準的なNLP指標（正解率、適合率、再現率、F1スコア、および感情クラスごとのマクロ平均スコア）を用いて性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 フェイスブックリアクションのパターンは、自己教師あり学習において感情分類器の訓練に有用な弱いラベルとして信頼できるか？
• RQ2 コメントの感情と関連するリアクションの間で感情が矛盾する場合、それがどれほど皮肉を示す指標となるか？
• RQ3 提案手法は言語間でどれほど一般化可能か、特に英語および中国語において。
• RQ4 リアクションから導かれる感情パターンは、オンライン表現における文化的・言語的差異を反映できるか？
• RQ5 手動アノテーションや外部知識が欠落している場合、皮肉検出の性能に悪影響を及えるか？

主な発見

• 感情分類器は英語および中国語の両データセットで妥当な性能を示し、マクロF1スコアはそれぞれ0.4096および0.3319を記録し、多言語対応の強靭性を示した。
• 異なる合意レベルおよびテストセットにおいて一貫した性能を示し、バランスの取れたモデルであることが示された。
• 英語では皮肉検出の性能が高く、マクロF1が0.4096に達し、従来のテキスト特徴よりも感情ベースの特徴を用いることで向上した。
• 結果から、明示的な皮肉アノテーションがなくても、リアクションに基づく感情信号が皮肉検出の有効な手がかりとなる可能性があることが示唆された。
• 英語ユーザーは中国語ユーザーに比べて「ラブ」リアクションの使用頻度が高かったが、これは状況的・文化的な感情表現の違いを示唆している可能性がある。
• 本手法は、外部の人的アノテーション済み感情ラベルや言語資源を一切必要とせず、データから直接感情パターンを学習できた。