[논문 리뷰] News Headlines Dataset For Sarcasm Detection

Rishabh Misra|arXiv (Cornell University)|2022. 09. 17.

Sentiment Analysis and Opinion Mining인용 수 8

한 줄 요약

이 논문은 사투를 감지하기 위한 새로운 뉴스 헤드라인 데이터셋을 소개한다. 이 데이터셋은 사기적 성향이 있는 TheOnion과 실제 뉴스인 HuffPost에서 수집되었으며, 약 28,000개의 헤드라인을 포함하고 있으며, 이 중 13,000개는 사투로 분류된다. 이 데이터셋은 사용자 생성 콘텐츠가 아닌 전문가가 작성한, 맥락이 풍부한 헤드라인을 사용함으로써 트위터 기반 데이터셋에 비해 노이즈가 적다. 이는 사투 감지에 더 신뢰할 수 있는 결과를 제공하며, 사투 감지 외의 다양한 자연어 처리(NLP) 응용 분야에도 기여한다.

ABSTRACT

Past studies in Sarcasm Detection mostly make use of Twitter datasets collected using hashtag-based supervision but such datasets are noisy in terms of labels and language. Furthermore, many tweets are replies to other tweets, and detecting sarcasm in these requires the availability of contextual tweets. To overcome the limitations related to noise in Twitter datasets, we curate News Headlines Dataset from two news websites: TheOnion aims at producing sarcastic versions of current events, whereas HuffPost publishes real news. The dataset contains about 28K headlines out of which 13K are sarcastic. To make it more useful, we have included the source links of the news articles so that more data can be extracted as needed. In this paper, we describe various details about the dataset and potential use cases apart from Sarcasm Detection.

연구 동기 및 목표

• 기존의 트위터 기반 사투 감지 데이터셋에서 발생하는 노이즈와 맥락 제약 문제를 해결하기 위함.
• 실제 뉴스와 풍자 뉴스 출처를 활용해 보다 신뢰성 있고 전문적으로 작성되며 맥락이 뚜렷한 사투 감지용 데이터셋을 구축하기 위함.
• 모든 헤드라인에 대한 소스 링크를 제공하여 데이터 증강 및 맥락 분석을 가능하게 하기 위함.
• 사투 감지 외에도 은유 감지, 감성 분석, 텍스트 생성 등의 다양한 자연어 처리(NLP) 과제를 지원하기 위함.
• 사용자 생성 콘텐츠가 아닌 고품질의 비사용자 생성 콘텐츠를 활용해 언어적 의도가 명확한 데이터를 제공함으로써 모델의 일반화 능력을 향상시키기 위함.

제안 방법

• TheOnion(의도적으로 사투적인 것으로 간주됨)과 HuffPost(실제 뉴스)라는 두 가지 다른 뉴스 출처에서 헤드라인을 선별하여 균형 잡힌 데이터셋을 구성함.
• 약 28,000개의 헤드라인을 수집하였으며, 이 중 13,000개는 TheOnion에서 온 사투로 분류되었고, 15,000개는 HuffPost에서 온 비사투로 분류됨.
• 각 헤드라인에 소스 URL을 포함시켜 전체 기사 접근 및 맥락 강화를 가능하게 함.
• _hashtag 기반 트위터 수집 방식에서 발생하는 레이블링 노이즈를 최소화하기 위해 설계됨.
• 이진 분류(사투 대비 비사투) 및 후속 NLP 과제를 지원할 수 있도록 데이터셋을 구조화함.
• 재현 가능성과 커뮤니티 활용을 위해 공개적으로 접근 가능한 형식으로 데이터셋을 제공함.

실험 결과

연구 질문

• RQ1 전문적으로 캐릭터링된 뉴스 헤드라인 데이터셋은 트위터 기반 사투 데이터셋에 비해 레이블링 노이즈를 줄이는 데 효과적인가?
• RQ2 기존의 노이즈가 많은 벤치마크에 비해 이 데이터셋은 사투 감지 성능 향상에 얼마나 효과적인가?
• RQ3 소스 URL의 포함이 사투 감지 모델의 맥락 이해도 향상에 어느 정도 기여하는가?
• RQ4 이 데이터셋은 사투 감지 외에도 은유 감지나 감성 분석 등의 응용에 활용될 수 있는가?
• RQ5 사용자 생성 트윗에 비해 뉴스 헤드라인의 언어적 품질과 일관성은 사투 감지 과제에서 어떤 영향을 미치는가?

주요 결과

• 데이터셋은 총 28,000개의 헤드라인을 포함하고 있으며, 이 중 13,000개는 TheOnion에서 온 사투로 분류되었고, 15,000개는 HuffPost에서 온 비사투로 분류됨.
• 소스 URL의 포함으로 연구자들이 전체 맥락을 추출할 수 있어 모델의 해석 가능성과 성능 향상에 기여함.
• 전문적인 글쓰기와 편집 감시로 인해 트위터 기반 사투 데이터셋보다 노이즈가 적음.
• 고품질의 맥락 기반 헤드라인 덕분에 이 데이터셋은 더 신뢰할 수 있는 정확도로 사투 감지 모델의 훈련 및 평가에 적합함.
• 사투 감지 외에도 은유 감지 및 텍스트 생성 등의 다양한 NLP 응용 분야에서 활용 가능함.
• arXiv 경유로 공개되어 있어 재현 가능성과 커뮤니티 수용을 촉진함.