[論文レビュー] News Headlines Dataset For Sarcasm Detection

Rishabh Misra|arXiv (Cornell University)|Sep 17, 2022

Sentiment Analysis and Opinion Mining被引用数 8

ひとこと要約

本論文では、風刺検出のための新しいニュース見出しデータセットを紹介する。このデータセットは、風刺を意図したTheOnion（風刺）と実際のニュースを提供するHuffPost（実際のニュース）から収集され、約28,000件の見出しを含み、そのうち13,000件が風刺とラベル付けされている。このデータセットは、プロフェッショナルが作成した文脈を豊富に含む見出しを用いることで、Twitterベースのデータセットに比べてノイズを低減しており、風刺検出の信頼性を高めるとともに、風刺検出を超えた幅広い自然言語処理（NLP）応用を可能にする。

ABSTRACT

Past studies in Sarcasm Detection mostly make use of Twitter datasets collected using hashtag-based supervision but such datasets are noisy in terms of labels and language. Furthermore, many tweets are replies to other tweets, and detecting sarcasm in these requires the availability of contextual tweets. To overcome the limitations related to noise in Twitter datasets, we curate News Headlines Dataset from two news websites: TheOnion aims at producing sarcastic versions of current events, whereas HuffPost publishes real news. The dataset contains about 28K headlines out of which 13K are sarcastic. To make it more useful, we have included the source links of the news articles so that more data can be extracted as needed. In this paper, we describe various details about the dataset and potential use cases apart from Sarcasm Detection.

研究の動機と目的

• 従来の風刺検出研究で使われてきた、Twitterベースの風刺データセットに見られるノイズや文脈の制限を解消すること。
• 実際のニュースと風刺ニュースの出典を用いて、より信頼性が高く、プロフェッショナルが作成した、文脈に根ざした風刺検出用データセットを構築すること。
• すべての見出しに対して出典リンクを提供し、データ拡張と文脈分析を可能にすること。
• 風刺検出に加え、風刺検出を超えた自然言語処理（NLP）タスク、たとえば皮肉検出、感情分析、テキスト生成の支援をすること。
• ユーザー生成コンテンツとは異なり、明確な言語的意図を持つ高品質な非ユーザー生成コンテンツを用いることで、モデルの汎化性能を向上させること。

提案手法

• TheOnion（意図的に風刺を含む）とHuffPost（実際のニュース）という2つの異なるニュース出典から見出しを収集し、バランスの取れたデータセットを構築。
• 約28,000件の見出しを収集し、そのうち13,000件をTheOnionのものとして風刺とラベル付け、残りの15,000件をHuffPostのものとして非風刺とラベル付け。
• 各見出しに対して出典URLを含め、全文記事の取得と文脈の拡充を可能にした。
• ハッシュタグベースのTwitter収集に起因するラベルノイズを最小限に抑えるように設計。
• 二値分類（風刺対非風刺）と、下流のNLPタスクの両方をサポートするようにデータセットを構造化。
• 再現可能性とコミュニティ利用を促進するため、公開可能なフォーマットでデータセットを提供。

実験結果

リサーチクエスチョン

• RQ1 プロフェッショナルが収集したニュース見出しデータセットは、Twitterベースの風刺データセットと比較して、ラベルノイズを低減できるか？
• RQ2 このデータセットは、従来のノイズの多いベンチマークと比較して、風刺検出性能をどの程度向上できるか？
• RQ3 出典URLの含め方が、風刺検出モデルにおける文脈理解をどの程度向上できるか？
• RQ4 このデータセットは、風刺検出を超えて、皮肉検出や感情分析といった応用にも対応できるか？
• RQ5 ニュース見出しの言語的品質と一貫性は、風刺検出タスクにおいて、ユーザー生成ツイートと比較してどの程度優れているか？

主な発見

• データセットには28,000件の見出しが含まれており、そのうち13,000件がTheOnionの風刺見出し、15,000件がHuffPostの非風刺見出しである。
• 出典URLの付与により、研究者が全文を取得し、文脈を拡充できるようになり、モデルの解釈性と性能が向上した。
• プロフェッショナルな執筆と編集のプロセスがあるため、Twitterベースの風刺データセットよりもノイズが少ない。
• 高品質で文脈に根ざした見出しのおかげで、信頼性の高い風刺検出モデルの訓練・評価に適したデータセットとなった。
• 風刺検出を超えた多様なNLP応用、たとえば皮肉検出やテキスト生成にも対応できる。
• データセットはarXivを通じて公開されており、再現性とコミュニティの採用を促進している。