[論文レビュー] AraBERT and Farasa Segmentation Based Approach For Sarcasm and Sentiment Detection in Arabic Tweets

Anshul Wadhawan|arXiv (Cornell University)|Mar 2, 2021

Sentiment Analysis and Opinion Mining被引用数 16

ひとこと要約

本稿では、ArSarcasm-v2 データセット上で微調整された AraBERT および AraELECTRA モデルを用いて、アラビア語ツイートにおける皮肉検出およびセンチメント分析のための2段階的手法を提示する。Farasa 分割およびノイズ除去による前処理がモデル性能を向上させ、皮肉検出で 85.55% の F1 スコア、センチメント分析で 76.41% の F1 スコアを達成し、共同タスクでそれぞれ 7 位および 4 位の順位を獲得した。

ABSTRACT

This paper presents our strategy to tackle the EACL WANLP-2021 Shared Task 2: Sarcasm and Sentiment Detection. One of the subtasks aims at developing a system that identifies whether a given Arabic tweet is sarcastic in nature or not, while the other aims to identify the sentiment of the Arabic tweet. We approach the task in two steps. The first step involves pre processing the provided ArSarcasm-v2 dataset by performing insertions, deletions and segmentation operations on various parts of the text. The second step involves experimenting with multiple variants of two transformer based models, AraELECTRA and AraBERT. Our final approach was ranked seventh and fourth in the Sarcasm and Sentiment Detection subtasks respectively.

研究の動機と目的

• 低リソースのアラビア語ソーシャルメディアテキストにおける皮肉およびセンチメント検出の課題に対処すること。
• 標的的なテキスト前処理を適用することで、アラビア語の皮肉およびセンチメント分類のモデル性能を向上させること。
• ArSarcasm-v2 データセットを用いた皮肉検出およびセンチメント検出の両タスクにおいて、AraBERT および AraELECTRA モデルの有効性を評価すること。
• モデル微調整および前処理最適化を通じて、EACL WANLP-2021 共同タスクで競争力のある性能を達成すること。

提案手法

• HTML マークアップ、URL、メンション、メールアドレス、絵文字、余分な空白を削除することで、ArSarcasm-v2 データセットの前処理を行う。
• 特定のモデル向けに語彙的表現を向上させるために Farasa 分割を適用する。
• 句読点、数字、非アラビア文字の周囲にスペースを挿入し、トークン化を改善する。
• Hugging Face の Transformers API を用いて、AraBERT および AraELECTRA モデルの複数のバリアントを微調整する。
• 学習率を 1e-5、バッチサイズを 40（ベース）または 4（ラージ）に設定し、最大シーケンス長を 256 に設定して 10 エポックで学習を行う。
• 最終的なテスト提出のため、バリデーションセットの F1 スコアに基づいて最高性能を示したモデルバリアントを選択する。

実験結果

リサーチクエスチョン

• RQ1 Farasa 分割およびノイズ除去による前処理は、アラビア語ツイートにおける皮肉検出およびセンチメント検出性能にどのように影響するか？
• RQ2 ArSarcasm-v2 データセットにおいて、皮肉およびセンチメント分類のタスクで最も優れた性能を示す AraBERT および AraELECTRA モデルのバリアントはどれか？
• RQ3 アラビア語テキスト上で微調整されたトランスフォーマーベースのモデルは、低リソースの皮肉およびセンチメント検出タスクで強力な性能を達成できるか？
• RQ4 モデルサイズ（ベース対ラージ）およびバージョン（v0.1 から v2）の違いが分類性能に与える影響は何か？

主な発見

• AraBERTv2-base が皮肉検出タスク（サブタスク 1）で最高の F1 スコア 85.55% を記録し、プライベートランクイングで 7 位となった。
• AraBERTv0.2-large がセンチメント検出タスク（サブタスク 2）で最高の F1 スコア 76.41% を記録し、プライベートランクイングで 4 位となった。
• AraELECTRA-base-generator モデルは、すべてのタスクで最も成績が悪く、GAN 向けのアーキテクチャがテキスト分類には最適でないことが原因と考えられる。
• モデルの性能は、より大きなアーキテクチャであるほど向上しており、AraBERTv0.2-large がベースバージョンよりも高い F1 スコアを示した。
• URL やメンションの置換、空白正規化などの前処理ステップにより、ノイズが顕著に低減され、モデルの汎化性能が向上した。
• 学習率 1e-5 と 10 エポックの微調整が、テストしたすべてのモデルバリアントにおいて最適な結果をもたらした。