[論文レビュー] Deep Multi-Task Model for Sarcasm Detection and Sentiment Analysis in Arabic Language

Abdelkader El Mahdaouy, Abdellah El Mekki+4 more|arXiv (Cornell University)|Jun 23, 2021

Sentiment Analysis and Opinion Mining参考文献 17被引用数 6

ひとこと要約

本論文は、マルティタスクアテンション相互作用モジュールを備えた、マルティタスク学習に基づく深層モデルを提案する。このモデルは、マルティタスク学習を用いてアラビア語における皮肉検出とセンチメント分析を同時に実行する。モデルは最先端の性能を達成し、単一タスクベースラインを上回り、ArSarcasm共同タスクにおいてセンチメント分析のサブタスクで1位、皮肉検出のサブタスクで4位を獲得した。

ABSTRACT

The prominence of figurative language devices, such as sarcasm and irony, poses serious challenges for Arabic Sentiment Analysis (SA). While previous research works tackle SA and sarcasm detection separately, this paper introduces an end-to-end deep Multi-Task Learning (MTL) model, allowing knowledge interaction between the two tasks. Our MTL model's architecture consists of a Bidirectional Encoder Representation from Transformers (BERT) model, a multi-task attention interaction module, and two task classifiers. The overall obtained results show that our proposed model outperforms its single-task counterparts on both SA and sarcasm detection sub-tasks.

研究の動機と目的

• 比喩的言語、特に皮肉と皮肉的表現が感情極性を逆転させることにより、アラビア語のセンチメント分析を困難にするという課題に対処すること。
• 従来の単一タスク手法の限界を克服し、皮肉検出とセンチメント分析の間で知識共有を可能にすること。
• 共有表現とタスク固有のアテンションを用いて、両タスクのパフォーマンスを向上させるエンドツーエンドの深層マルチタスク学習モデルを構築すること。
• MSAおよび方言アラビア語にわたる皮肉とセンチメントラベルが付与されたArSarcasm-v2データセットを用いてモデルを評価すること。
• 学習可能な共有行列とシグモイド活性化関数を用いたタスク相互作用の有効性を示すことにより、皮肉検出とセンチメント分類の両方の性能向上を実証すること。

提案手法

• 文脈的な単語埋め込みとして、10億件のアラビア語ツイートで事前学習されたMARBERT（BERTベースのトランスフォーマー・モデル）を用いる。
• マルチタスクアテンション相互作用モジュールには、皮肉検出とセンチメントタスクのための、タスク固有のアテンション層が2つ含まれる。
• このモジュールは、タスク間の知識共有を可能にするために、学習可能な共有行列とシグモイド活性化関数を採用する。
• 皮肉検出（二値分類）とセンチメント分析（3クラス：肯定的、否定的、ニュートラル）のための2つの分類器が、注目された表現に適用される。
• 固定初期学習率5×10⁻⁶、バッチサイズ64、5エポックで、Adam最適化アルゴリズムを用いてエンドツーエンドでモデルを微調整する。
• 訓練データは80％を訓練用、20％を開発用に分割し、評価にはマクロ平均F1、適合率、再現率、正解率が用いられる。

実験結果

リサーチクエスチョン

• RQ1 皮肉検出とセンチメント分析の共同学習は、アラビア語テキストにおける両タスクのパフォーマンス向上に寄与するか？
• RQ2 学習可能な共有行列を備えたマルチタスクアテンション相互作用モジュールは、皮肉タスクとセンチメントタスク間での知識移転をどの程度効果的に可能にするか？
• RQ3 タスク固有のアテンション層を組み込むことで、皮肉とセンチメント分類のための特徴表現が向上するか？
• RQ4 提案されたマルチタスクモデルは、皮肉クラスとセンチメントクラスのF1スコアにおいて、単一タスクベースラインと比べてどの程度優れているか？
• RQ5 モデルのパフォーマンスは、異なるアラビア語方言やセンチメント極性によってどの程度変動するか？

主な発見

• MTL_ATTINTERモデルは、テストセットにおける皮肉検出で最高のF1スコア0.7183を達成し、単一タスクおよび他のマルチタスクベースラインを上回った。
• センチメント分析において、MTL_ATTINTERモデルはテストセットでF1スコア0.7107を達成し、共同タスクに提出されたすべてのシステムの中で1位を獲得した。
• 公式のArSarcasm共同タスク評価において、センチメント分析サブタスクで1位、皮肉検出サブタスクで4位を獲得した。
• 混同行列の結果から、モデルは共有信号を効果的に活用しており、特に多くの皮肉的ツイートが否定的であることに起因して、皮肉的および否定的センチメントクラスの検出性能が向上していることが示された。
• タスク固有のアテンションと相互作用メカニズムの統合により、開発セットおよびテストセットの両方でF1、F1_Sarc、F1_PNに一貫した向上が見られた。
• 不均衡なデータに対してもモデルは頑健であり、頻度が低い皮肉クラスに対しても高い性能を示した。