[論文レビュー] Distant supervision for emotion detection using Facebook reactions

Chris W. Pool, Malvina Nissim|arXiv (Cornell University)|Nov 9, 2016

Sentiment Analysis and Opinion Mining参考文献 13被引用数 13

ひとこと要約

本稿では、手作業で作成された感情ランク付き語彙を用いずに、Facebookのリアクションを自動的 emotionsラベルとして用いる遠隔教師付きアプローチを提案する。SVM分類器を用いて学習することで、標準ベンチマークで競争力のある性能を達成した。これは、多様なFacebookページからの完全自動的データ収集が、ドメイン適応を戦略的なページ選択によって可能にする感情分類に有効であることを示している。

ABSTRACT

We exploit the Facebook reaction feature in a distant supervised fashion to train a support vector machine classifier for emotion detection, using several feature combinations and combining different Facebook pages. We test our models on existing benchmarks for emotion detection and show that employing only information that is derived completely automatically, thus without relying on any handcrafted lexicon as it's usually done, we can achieve competitive results. The results also show that there is large room for improvement, especially by gearing the collection of Facebook pages, with a view to the target domain.

研究の動機と目的

• 手作業で作成された感情語彙に依存せずに、Facebookのリアクションを感情検出の遠隔教師付き信号として用いることの可能性を検討すること。
• 公開されているFacebookページからの完全自動的データ収集が、標準的な感情分類ベンチマークで競争力のある性能を達成できるかどうかを評価すること。
• Facebookページの選択がモデル性能に与える影響を調査し、内在的ドメイン適応の可能性を検討すること。
• 連続的単語埋め込みとリアクションベースのラベルを組み合わせることで、感情検出に与える影響を評価すること。
• 感情のラベルの曖昧さやドメインのばらつきといった感情検出における主な課題を特定し、改善策を提案すること。

提案手法

• Facebook APIを介して、多様な公開ページから投稿とそのリアクション数（いいね、愛、笑う、驚き、悲しみ、怒り）を収集した。
• リアクション数を感情カテゴリの代理ラベルとして用い、各投稿の最も頻出するリアクションをその感情のターゲットとして扱った。
• Bag-of-Words、N-gram、事前学習済み単語埋め込み（GloVe）を含む、さまざまな特徴の組み合わせを用いてサポートベクターマシン（SVM）分類器を訓練した。
• 標準的な感情検出ベンチマーク（ISEAR、Affective Text、Fairy Tales）上で、複数のモデルを訓練および評価した。
• 開発セットの性能とラベル分布に基づいてFacebookページを選択することでモデル性能を最適化した。さらに、語彙の重複度や投稿の内容の質といった基準の検討も行った。
• 感情の応答の主観性と曖昧さを反映するため、多ラベル感情予測へのアプローチの拡張も行った。

実験結果

リサーチクエスチョン

• RQ1 Facebookのリアクションは、自動的感情検出の信頼できる遠隔教師付き信号として機能するか？
• RQ2 異なるFacebookページで学習した場合の性能の違いは何か？ また、このような選択がドメイン適応を可能にするか？
• RQ3 完全自動的かつ語彙なしのモデルが、標準的な感情検出ベンチマークでどれほど競争力のある結果を達成できるか？
• RQ4 連続的単語埋め込みは、リアクションベースのラベルと組み合わせることで、感情検出の性能向上にどのような役割を果たすか？
• RQ5 投稿の選択基準（例：長さ、コンテンツタイプ）や感情の強度測定値は、モデル性能の向上にどのように寄与できるか？

主な発見

• 提案手法は、いかなる手作業で作成された語彙を用いずに、標準ベンチマークで競争力のある結果を達成した。これは、完全自動的で感情検出が可能であることを示している。
• ISE-Mモデルが、全データセットで最も優れた性能を示した。特に、喜び、悲しみ、驚きの検出において顕著に優れていた。
• ISEARデータセットでは、怒りの検出において最高の精度を達成し、既存のアプローチを上回った。
• 感情タイプやデータセットごとに性能に顕著な差が見られた。これは、感情検出がドメインやデータ分布に極めて敏感であり、依然として困難な課題であることを示している。
• モデル設計と特定のデータセットでの性能の間に明確な相関関係は認められず、モデル選択だけでは最適な結果を得ることはできないことが示唆された。
• Facebookページの選択が性能に顕著な影響を与えた。これは、ページ選択が内在的ドメイン適応の手段として有効である可能性を示している。