[論文レビュー] On the Use of Emojis to Train Emotion Classifiers

Wegdan A. Hussien, Mahmoud Al‐Ayyoub+2 more|arXiv (Cornell University)|Feb 24, 2019

Sentiment Analysis and Opinion Mining参考文献 35被引用数 10

ひとこと要約

本稿では、感情分類のための学習データを自動的にアノテートするために絵文字を用いる遠隔監視アプローチを提案している。この手法により、アノテーションコストを著しく削減できる。低品質なラベルを伴うが、ラベルの質よりもデータ量の多さが優勢であり、SVM、ナイーブベイズ、ランダムフォレスト分類器において、アラビア語のツイートに対して、手動でアノテートされた小規模データセットよりも、10倍以上大きな自動アノテートデータで学習した場合に優れた性能を示した。

ABSTRACT

Nowadays, the automatic detection of emotions is employed by many applications in different fields like security informatics, e-learning, humor detection, targeted advertising, etc. Many of these applications focus on social media and treat this problem as a classification problem, which requires preparing training data. The typical method for annotating the training data by human experts is considered time consuming, labor intensive and sometimes prone to error. Moreover, such an approach is not easily extensible to new domains/languages since such extensions require annotating new training data. In this study, we propose a distant supervised learning approach where the training sentences are automatically annotated based on the emojis they have. Such training data would be very cheap to produce compared with the manually created training data, thus, much larger training data can be easily obtained. On the other hand, this training data would naturally have lower quality as it may contain some errors in the annotation. Nonetheless, we experimentally show that training classifiers on cheap, large and possibly erroneous data annotated using this approach leads to more accurate results compared with training the same classifiers on the more expensive, much smaller and error-free manually annotated training data. Our experiments are conducted on an in-house dataset of emotional Arabic tweets and the classifiers we consider are: Support Vector Machine (SVM), Multinomial Naive Bayes (MNB) and Random Forest (RF). In addition to experimenting with single classifiers, we also consider using an ensemble of classifiers. The results show that using an automatically annotated training data (that is only one order of magnitude larger than the manually annotated one) gives better results in almost all settings considered.

研究の動機と目的

• NLPにおける感情分類のための学習データを手動でアノテートする際の高コストとスケーラビリティの限界を解決すること。
• 自動生成された絵文字ベースの学習データが、小規模な手動でカスタマイズされたデータセットよりも優れた性能を発揮するかどうかを検討すること。
• アラビア語のソーシャルメディアテキストにおける感情分類に、絵文字を弱いラベルとして用いた遠隔監視の有効性を評価すること。
• SVM、MNB、RFといった複数の分類器およびアンサンブル手法を、自動アノテートデータで学習させた場合の性能を比較すること。
• 感情分類タスクにおいて、データ量とラベル品質のトレードオフを評価すること。

提案手法

• アラビア語のツイートに含まれる絵文字を弱いラベルとして用い、文の感情カテゴリを自動的に割り当てる。これにより、大規模なデータ収集が可能になる。
• 各絵文字を対応するツイートの感情表現の代理として扱い、遠隔監視信号を形成する。
• ツイートをそのツイートに含まれる絵文字が示す感情ラベルと関連付けることで、大規模で低コストな学習データを構築する。
• SVM、多項式ナイーブベイズ、ランダムフォレストといった複数の分類器を、自動アノテート済みデータおよび手動アノテート済みデータで学習させ、性能を比較する。
• 自動アノテートデータで学習した場合の性能向上を図るため、分類器のアンサンブルも評価する。
• 本手法の有効性を評価するために、自社で構築した感情的アラビア語ツイートのデータセットを用いて実験を実施した。

実験結果

リサーチクエスチョン

• RQ1 絵文字ベースの自動アノテーションによって得られる学習データは、手動アノテートデータよりも感情分類器の性能を向上させることができるか？
• RQ2 大規模な自動アノテートデータで学習した感情分類器の性能と、小規模な手動ラベルデータで学習した分類器の性能は、どのように比較されるか？
• RQ3 絵文字による遠隔監視を用いることで、感情分類タスクにおけるラベルノイズの影響が軽減されるか？
• RQ4 SVM、MNB、RFといった異なる分類器およびアンサンブル手法は、自動アノテートデータで学習した場合に、どのように性能を発揮するか？
• RQ5 絵文字ベースの弱い監視を用いた感情分類器の学習において、データ量がラベル品質を上回る程度はどの程度か？

主な発見

• 絵文字から得た自動アノテートデータで学習した感情分類器は、小規模な手動アノテートデータで学習した場合よりも優れた性能を示した。
• 自動アノテートデータセットは、手動アノテートデータセットよりも約10倍の規模であったが、依然として優れた結果を達成した。
• SVM、MNB、RFといった個々の分類器およびアンサンブルモデルは、すべて大規模な自動ラベルデータで学習した場合に、より良い性能を発揮した。
• 結果から、この弱い監視設定において、データ量の増加がラベルノイズの欠点を上回る利点をもたらすことが示された。
• 本研究では、絵文字ベースの遠隔監視が、リソースが限られた環境や多言語環境における感情分類の有効で実用的な手法であることが確認された。