[論文レビュー] Sarcasm Detection in a Disaster Context

Tiberiu Sosea, Junyi Jessy Li+1 more|arXiv (Cornell University)|Aug 16, 2023

Sentiment Analysis and Opinion MiningComputer Science被引用数 3

ひとこと要約

本稿では、ハリケーンに関する15,000件の災害関連ツイートをスarcasm（皮肉）の有無についてアノテートしたHurricaneSARCというデータセットを紹介し、BERTweetなどの事前学習言語モデルを用いたスarcasm検出の評価を行う。不確実性を考慮した自己学習（UST）を用いた半教師あり学習により、このデータセットでF1スコア0.70を達成し、完全にラベル付きデータで学習したモデルと同等の性能を維持しながら、アノテーションコストを最大75％まで削減できることを示している。

ABSTRACT

During natural disasters, people often use social media platforms such as Twitter to ask for help, to provide information about the disaster situation, or to express contempt about the unfolding event or public policies and guidelines. This contempt is in some cases expressed as sarcasm or irony. Understanding this form of speech in a disaster-centric context is essential to improving natural language understanding of disaster-related tweets. In this paper, we introduce HurricaneSARC, a dataset of 15,000 tweets annotated for intended sarcasm, and provide a comprehensive investigation of sarcasm detection using pre-trained language models. Our best model is able to obtain as much as 0.70 F1 on our dataset. We also demonstrate that the performance on HurricaneSARC can be improved by leveraging intermediate task transfer learning. We release our data and code at https://github.com/tsosea2/HurricaneSarc.

研究の動機と目的

• ハリケーンを対象としたスarcasm検出に特化したデータセットが不足しているという問題に対処すること。
• 災害関連ツイートにおけるスarcasm検出に対して、BERTweetのような事前学習言語モデルの性能を評価すること。
• 中間タスクの転移学習や半教師あり学習が、リソースが限られた災害状況下でのスarcasm検出を改善できるかどうかを調査すること。
• ラベルなしデータを活用することで、時間的に重要な災害発生時におけるアノテーションコストの削減とモデル学習の高速化を図ること。

提案手法

• ハリケーン・ハリー、アイルマ、マリアの英語ツイート15,000件をクラウドソーシングでスarcasm対非スarcasmにアノテートした。
• HurricaneSARCデータセット上でスarcasm検出のベースラインとして、BERTweet、CNN、BiLSTMモデルを微調整した。
• スarcasm検出性能の向上を図るため、感情分析やセンチメント分析といった関連タスクを介した中間タスク転移学習を適用した。
• 不確実性を考慮した自己学習（UST）とノイズあり学生訓練（noisy student training）を実装し、ラベルなしの災害関連ツイートを活用した。
• USTにおける不確実性推定にはモンテカルロドロップアウトを用い、ノイズあり学生訓練では知識蒸留を適用して一般化性能を向上させた。
• 各クラスのラベル付き例を100または200件のみでモデルを学習し、完全教師ありベースラインと性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 BERTweetのような事前学習言語モデルは、ドメインのズレの影響を受けることなく、災害関連ツイートにおけるスarcasm検出を効果的に実行できるだろうか、それとも困難を伴うだろうか？
• RQ2 感情分析やセンチメント分析といった関連タスクからの中間タスク転移学習が、HurricaneSARCデータセット上でのスarcasm検出性能を向上させられるだろうか？
• RQ3 UST やノイズあり学生訓練といった半教師あり学習手法が、災害文脈におけるスarcasm検出のための人的アノテーションデータの必要量を顕著に削減できるだろうか？
• RQ4 半教師あり手法を用いてラベル付きデータの25％のみで学習した場合、完全教師あり学習と比較してモデルの性能と安定性はどのように変化するだろうか？

主な発見

• 最も優れた性能を示したモデルは、BERTweetを基盤とする不確実性を考慮した自己学習（UST）モデルで、HurricaneSARCデータセット上でF1スコア0.70を達成した。
• 各クラスのラベル付き例を200件のみで学習したUSTモデルは、4倍のデータ量を用いた完全教師ありBERTweetモデルと比較して、F1スコアの差が1％以内にとどまった。
• 半教師あり学習手法により、アノテーションコストを最大75％まで削減しながら、全ラベル付きデータで学習したモデルと同等の性能を維持できた。
• 複数回のランダムな実行におけるF1スコアの分散は、ヴァリエーションのないBERTweetモデルと比較して、USTモデルの方が顕著に低く、モデルの安定性が向上した。
• 一般ドメインのスarcasmデータセット（例：Twitter や Reddit）からの転移学習は、性能を15％F1低下させた。これはドメインのズレの問題が顕著に現れたことを示している。
• バックトランスレーションと同義語置換を用いたノイズあり学生訓練により、モデルのロバスト性と一般化性能が向上し、特に不確実性推定と組み合わせることで顕著に改善された。