[論文レビュー] Plumeria at SemEval-2022 Task 6: Robust Approaches for Sarcasm Detection for English and Arabic Using Transformers and Data Augmentation

Shubham Kumar Nigam, Mosab Shaheen|arXiv (Cornell University)|Mar 8, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

本論文では、SemEval-2022 タスク6におけるプラマリアの頑健な皮肉検出システムを提示する。英語およびアラビア語の両言語において、データ拡張および前処理戦略を用いたBERTベースのトランスフォーマーを採用し、3つのサブタスクで4位、1つのサブタスクで6位という一貫した上位クラスのパフォーマンスを達成した。これは、戦略的なデータセット拡張とファインチューニングにより、多言語皮肉検出タスクにおいてモデルの安定性と有効性が裏付けられていることを示している。

ABSTRACT

This paper describes our submission to SemEval-2022 Task 6 on sarcasm detection and its five subtasks for English and Arabic. Sarcasm conveys a meaning which contradicts the literal meaning, and it is mainly found on social networks. It has a significant role in understanding the intention of the user. For detecting sarcasm, we used deep learning techniques based on transformers due to its success in the field of Natural Language Processing (NLP) without the need for feature engineering. The datasets were taken from tweets. We created new datasets by augmenting with external data or by using word embeddings and repetition of instances. Experiments were done on the datasets with different types of preprocessing because it is crucial in this task. The rank of our team was consistent across four subtasks (fourth rank in three subtasks and sixth rank in one subtask); whereas other teams might be in the top ranks for some subtasks but rank drastically less in other subtasks. This implies the robustness and stability of the models and the techniques we used.

研究の動機と目的

• SemEval-2022共有タスクにおける多様なサブタスクおよび言語に一般化可能な能力を持つ頑健な皮肉検出システムの開発を目的とする。
• 繰り返しと単語埋め込みベースの手法を用いてデータ拡張することで、皮肉検出におけるクラス不均衡および限られた学習データの問題に対処することを目的とする。
• 異なる前処理戦略、損失関数、ハイパーパrameterが多言語皮肉検出におけるモデルパフォーマンスに与える影響を評価することを目的とする。
• スタンドアロンのトランスフォーマーモデルと階層的トランスフォーマー-BiLSTMアーキテクチャの両者を比較し、皮肉分類における有効性を検証することを目的とする。
• 特定のサブタスクでは高いパフォーマンスを示すが、他のサブタスクでは劣るという一般的な問題を回避し、サブタスク全体で一貫したパフォーマンスを確保することを目的とする。

提案手法

• 英語およびアラビア語の皮肉検出の両方において、オリジナルデータセットおよび拡張済みデータセット上で、BERT-baseおよびBERT-largeモデル（キャメルケースおよびアンキャメルケース）をファインチューニングした。
• 入力表現の最適化を目的として4種類の前処理（タイプI〜IV）を適用し、そのうちタイプIIが最高の検証性能を示した。
• オリジナルデータに外部の皮肉データセットを組み合わせ、単語埋め込みの繰り返しおよびインスタンスの複製を用いたデータ拡張により、拡張済みデータセットを作成した。
• トランスフォーマーエンコーダーの上にBiLSTM層をスタックすることで階層的アーキテクチャを構築し、注目機構を備えたものと備えないもの、両方を検証し、文脈理解の向上を図った。
• 特に皮肉対非皮肉比が不均衡なサブタスクにおいて顕著な影響を及ぼす可能性があるため、重み付き交差エントロピー損失関数を採用した。
• 検証性能に基づきモデルを選定し、最良の設定（例：タイプII前処理、最適なハイパーパrameter（初期学習率8e-6または3e-5））を用いて最終提出を行った。

実験結果

リサーチクエスチョン

• RQ1 異なる前処理戦略（タイプI〜IV）は、トランスフォーマー基盤の皮肉検出モデルのパフォーマンスにどのように影響するか？
• RQ2 単語埋め込みやインスタンスの繰り返しを用いたデータ拡張は、サブタスク全体にわたるモデルの一般化および頑健性をどの程度向上させるか？
• RQ3 注目機構を備えたか否かにかかわらず、階層的トランスフォーマー-BiLSTMモデルはスタンドアロンのトランスフォーマーモデルを上回る性能を示せるか？
• RQ4 重み付き損失関数の使用は、不均衡な皮肉検出データセットにおけるパフォーマンスにどのように影響するか？
• RQ5 オリジナルデータと外部データの組み合わせは、多言語皮肉検出における複数のサブタスクにわたる安定的かつ一貫したパフォーマンスを向上させるか？

主な発見

• チームは3つのサブタスクで一貫した4位、1つのサブタスクで6位という順位を達成し、多様な評価条件において頑健さと安定性を示した。
• サブタスクC（英語）では、タイプI前処理を施したBERT-large（キャメルケース）モデルがテスト精度0.79を達成し、公式リーダーボードで4位となった。
• サブタスクC（アラビア語）では、タイプII前処理を施したCAMeLBERT-Mixモデルがテスト精度0.87を達成し、リーダーボードで4位となった。
• 特にリソースが限られた環境下で顕著に向上したが、拡張済みデータセット（特に埋め込みベースの繰り返しと外部データを組み合わせたもの）の使用は、モデルパフォーマンスの向上に寄与した。
• タイプII前処理は検証性能において他の前処理タイプを常に上回り、最終提出における採用の根拠となった。
• 最適なハイパーパラメータ（学習率、エポック数）と重み付き損失関数を用いたファインチューニッシュドスタンドアロンBERTモデルが、特にサブタスクAおよびBで最高の結果を出した。