[論文レビュー] Sarcasm Detection in Twitter -- Performance Impact while using Data Augmentation: Word Embeddings

Alif Tri Handoyo, Hidayaturrahman Hidayaturrahman+1 more|arXiv (Cornell University)|Aug 23, 2021

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

本稿では、RoBERTaを用いた文脈的皮肉検出モデルを提案し、GloVe単語埋め込みを用いたデータ拡張により、不均衡なTwitterデータセットにおける性能を向上させることを目的としている。皮肉の例を20%増加させることで、iSarcasmデータセットにおいてFスコアが3.2%向上（40.4% 対 37.2%）し、より良いデータバランスと文脈理解が、検出精度の向上に寄与することを示している。

ABSTRACT

Sarcasm is the use of words usually used to either mock or annoy someone, or for humorous purposes. Sarcasm is largely used in social networks and microblogging websites, where people mock or censure in a way that makes it difficult even for humans to tell if what is said is what is meant. Failure to identify sarcastic utterances in Natural Language Processing applications such as sentiment analysis and opinion mining will confuse classification algorithms and generate false results. Several studies on sarcasm detection have utilized different learning algorithms. However, most of these learning models have always focused on the contents of expression only, leaving the contextual information in isolation. As a result, they failed to capture the contextual information in the sarcastic expression. Moreover, some datasets used in several studies have an unbalanced dataset which impacting the model result. In this paper, we propose a contextual model for sarcasm identification in twitter using RoBERTa, and augmenting the dataset by applying Global Vector representation (GloVe) for the construction of word embedding and context learning to generate more data and balancing the dataset. The effectiveness of this technique is tested with various datasets and data augmentation settings. In particular, we achieve performance gain by 3.2% in the iSarcasm dataset when using data augmentation to increase 20% of data labeled as sarcastic, resulting F-score of 40.4% compared to 37.2% without data augmentation.

研究の動機と目的

• 皮肉表現がしばしば曖昧であり、人間ですら解釈が難しいため、Twitterにおける皮肉検出の課題に対処すること。
• 従来のモデルがテキスト内容にのみ注目し、文脈的情報を無視するという限界を克服すること。
• 皮肉検出タスクにおける不均衡データセットが引き起こす性能低下を軽減すること。
• GloVe埋め込みを用いたデータ拡張が、皮肉検出におけるモデルの一般化性能とFスコア向上に与える影響を調査すること。
• 文脈モデリング（RoBERTa）と拡張・バランス化された訓練データを組み合わせた手法が、皮肉検出に与える有効性を評価すること。

提案手法

• 著者らは、皮肉検出のためのツイートの深い文脈的表現を捉えるために、文脈的言語モデルであるRoBERTaを採用している。
• GloVe単語埋め込みを用いて、合成された訓練例を生成するデータ拡張により、皮肉のサンプル数を20%増加させている。
• 拡張プロセスでは、GloVeベクトルに基づく意味的類似性と単語レベルの変換を用いて、皮肉の例を追加することでデータセットをバランスさせる。
• モデルは、iSarcasmを含む複数のデータセットで微調整され、さまざまなデータ拡張設定下での性能を評価している。
• Fスコアを用いて性能を評価し、データ拡張あり・なしのモデルを比較している。
• 文脈モデリングと埋め込みベースのデータ拡張を組み合わせることで、不均衡な皮肉検出タスクにおけるモデルのロバスト性を向上させている。

実験結果

リサーチクエスチョン

• RQ1 GloVe埋め込みを用いたデータ拡張は、不均衡なTwitterデータセットにおける皮肉検出性能を向上させるか？
• RQ2 RoBERTaによる文脈情報の統合は、表面的なテキスト分析をはるかに超えて、皮肉検出をどの程度向上させるか？
• RQ3 拡張によって皮肉の例の割合を増加させることで、Fスコアとモデルの一般化性能にどのような影響を与えるか？
• RQ4 埋め込みベースのデータ拡張は、データセットのバランスを効果的に取り戻し、皮肉検出モデルのバイアスを低減できるか？
• RQ5 異なる皮肉検出データセットにおいて、提案手法の相対的性能向上はどの程度か？

主な発見

• 提案手法は、iSarcasmデータセットにおいて、データ拡張ありでFスコア40.4%、なしで37.2%を記録し、3.2%の絶対的向上を達成した。
• GloVe埋め込みを用いたデータ拡張は、データセットのバランスを効果的に取り戻し、クラス不均衡がモデル性能に与える悪影響を軽減した。
• RoBERTaとGloVeベースの拡張を統合することで、文脈的なニュアンスを捉える能力が著しく向上し、皮肉検出性能が向上した。
• 性能向上は特にiSarcasmデータセットで顕著で、皮肉のインスタンスを20%増やした後、Fスコアが37.2%から40.4%に上昇した。
• 結果から、文脈モデリングと埋め込みベースのデータ拡張を組み合わせた手法が、リソースが限られた不均衡な環境における皮肉検出に有効であることが示された。
• 本研究は、GloVeのような事前学習済み単語埋め込みを用いたデータ拡張が、皮肉検出タスクにおけるモデル一般化性能の向上に有効な戦略であることを確認した。