[論文レビュー] Transformer-based Context-aware Sarcasm Detection in Conversation Threads from Social Media

Xiangjue Dong, Changmao Li+1 more|arXiv (Cornell University)|May 22, 2020

Sentiment Analysis and Opinion Mining参考文献 15被引用数 4

ひとこと要約

本稿では、ターゲット発話とその完全な会話スレッド全体におけるマルチヘッドアテンションを活用することで、スレッドの文脈を考慮した変換器ベースの皮肉検出モデルを提案する。文脈的ディス course 情報を統合することで、Twitterで79.0%、Redditで75.0%の最先端のF1スコアを達成し、ターゲットのみを対象とするベースラインよりそれぞれ3.1%および7.0%の向上を達成した。

ABSTRACT

We present a transformer-based sarcasm detection model that accounts for the context from the entire conversation thread for more robust predictions. Our model uses deep transformer layers to perform multi-head attentions among the target utterance and the relevant context in the thread. The context-aware models are evaluated on two datasets from social media, Twitter and Reddit, and show 3.1% and 7.0% improvements over their baselines. Our best models give the F1-scores of 79.0% and 75.0% for the Twitter and Reddit datasets respectively, becoming one of the highest performing systems among 36 participants in this shared task.

研究の動機と目的

• SNSにおける皮肉検出の課題に取り組む。表面的には肯定的だが、実態は否定的である感情が隠されている状況である。
• ターゲット発話のみを対象とするモデルの限界を克服する。皮肉検出に不可欠な文脈的ニュアンスを捉えられていないためである。
• 最先端の変換器アーキテクチャを用いて、完全な会話スレッドの文脈が皮肉検出性能に与える影響を評価する。
• 文脈に配慮したモデリングが、特に長く複雑なスレッドにおいて、検出精度を顕著に向上させることを示す。
• 今後の皮肉検出研究のための強固なベースラインを確立し、リソースを公開する。

提案手法

• モデルは変換器エンコーダを用い、ターゲット発話とその周囲の会話文脈をマルチヘッド自己アテンション機構を用いて同時に符号化する。
• スレッド内のすべての発話を通じて注目することで、文脈的表現を学習し、ディスコースレベルの不一致を捉える。
• RoBERTa-Large、BERT-Large、ALBERT-xxLargeの3つの事前学習済み変換器モデルを、皮肉検出タスクに微調整する。
• 入力は[CLS] + コンテキスト発話 + [SEP] + ターゲット発話 + [SEP]という構造で、順序を保持する。
• モデル学習には、皮肉対非皮肉のマルチラベル分類に適したシグモイド活性化関数を用いた二値交差エントロピー損失を採用する。
• モデルは2つのSNSデータセットで評価される：Twitter（#sarcasmハッシュタグを用いたもの）とReddit（Self-Annotated Reddit Corpusからのもの）。

実験結果

リサーチクエスチョン

• RQ1 ターゲット発話のみを対象とするモデルと比較して、完全な会話スレッドを組み込むことで、皮肉検出性能が顕著に向上するか？
• RQ2 RoBERTa、BERT、ALBERTといった異なる事前学習済み変換器アーキテクチャは、文脈に配慮した皮肉検出に拡張された場合、どのように性能を発揮するか？
• RQ3 文脈的配慮が、単体では曖昧な皮肉を、周囲のディスコースによって明確にできるか？
• RQ4 Redditのテストセットのように、スレッド長や発話長の分布が異なるデータセットにおいて、モデルの性能はどのように変化するか？
• RQ5 文脈に配慮したモデリングとターゲット指向モデルの両者において、どのような種類の誤りが生じたり、是正されたりするか？

主な発見

• 文脈に配慮したモデルは、ターゲット指向ベースラインと比較してRedditデータセットで7.0%の絶対的F1スコア向上を達成し、最終的なF1スコアは75.0%に達した。
• Twitterデータセットでは、文脈に配慮したモデルがベースラインよりF1スコアを3.1%向上させ、79.0%のF1スコアを達成し、共有タスクで2位となった。
• 誤り分析の結果、ターゲットのみのモデルが文脈的情報不足のため失敗するケースの100%が、文脈に配慮したモデルで正しく分類された。
• 文脈に配慮したモデルが誤りを犯す場合、多くはノイズが多いまたは長すぎる文脈に起因しており、文脈の豊かさとモデルの頑健性の間にはトレードオフがあることが示唆された。
• 共有タスクに参加した36もの他の参加者よりも優れた性能を示し、最も高い性能を発揮するシステムの一つとして確立された。
• モデルの性能向上は、特にテストセットの会話スレッドがトレーニングセットよりも顕著に長いRedditにおいて顕著であり、長大なディスコースにおける文脈の価値を強調している。