[논문 리뷰] GoodNewsEveryone: A Corpus of News Headlines Annotated with Emotions, Semantic Roles, and Reader Perception

Laura Ana Maria Bostan, Evgeny Kim외 1명|arXiv (Cornell University)|2019. 12. 06.

Sentiment Analysis and Opinion Mining참고 문헌 57인용 수 40

한 줄 요약

본 논문은 GoodNewsEveryone를 소개합니다. 5,000개 헤드라인의 영어 코퍼스에 감정 클래스, 강도, 의미 역할(경험주체/경험자 experiencer, 단서 cue, 원인 cause, 대상 target), 그리고 독자 인식에 대한 주석을 달고, 두 단계의 크라우드소싱 주석 프로세스와 기초 역할 예측 결과를 제공합니다.

ABSTRACT

Most research on emotion analysis from text focuses on the task of emotion classification or emotion intensity regression. Fewer works address emotions as a phenomenon to be tackled with structured learning, which can be explained by the lack of relevant datasets. We fill this gap by releasing a dataset of 5000 English news headlines annotated via crowdsourcing with their associated emotions, the corresponding emotion experiencers and textual cues, related emotion causes and targets, as well as the reader's perception of the emotion of the headline. This annotation task is comparably challenging, given the large number of classes and roles to be identified. We therefore propose a multiphase annotation procedure in which we first find relevant instances with emotional content and then annotate the more fine-grained aspects. Finally, we develop a baseline for the task of automatic prediction of semantic role structures and discuss the results. The corpus we release enables further research on emotion classification, emotion intensity prediction, emotion cause detection, and supports further qualitative studies.

연구 동기 및 목표

• 텍스트에서 단순 분류를 넘는 감정을 연구하기 위한 자원을 만들고, 헤드라인에서 누가 무엇을 느끼는지, 왜 느끼는지, 누구를 향하는지를 포함합니다.
• 읽는 이가 느끼는 감정과 그 강도를 포착하여 시청자 해석 차이를 분석합니다.
• 헤드라인에 맞춰 의미 역할(경험주체, 단서, 원인, 대상)을 감정 프레임과 정렬하여 주석화합니다.
• 높은 품질의 데이터를 위한 크라우드소싱 가이드라인, 2단계 주석 및 판정 절차를 제공합니다.
• 헤드라인에서 자동 의미 역할 구조 예측을 위한 기초 모델링 결과를 제공합니다.

제안 방법

• RSS를 통해 82개 소스로 헤드라인을 수집하고 소셜 미디어 맥락(트윗, 답글, Reddit)을 보강하여 감정적으로 의미 있는 항목을 샘플링합니다.
• 무작위 샘플링, NRC 감정 어휘집, 명명된 개체, 소셜 미디어 영향 샘플링을 이용해 후보 9,932개를 얻고 헤드라인을 필터링하고 층화합니다.
• 2단계 크라우드소싱: 1단계에서 지배적 감정과 독자 트리거 가능성을 선택하고, 2단계에서 5명의 주석자가 감정 클래스, 강도, 독자 감정, 그리고 경험주체/원인/대상 등의 열린 유형 역할을 주석합니다.
• 규칙(Relative Majority, Most Common Subsequence, Longest Common Subsequence, noun chunks)과 수동 검토를 사용해 주석을 판정하고 골드 라벨을 도출합니다.
• 주석자 간 합의도(Kappa, F1, MASI, 엔트로피)를 산출하고 감정 및 역할별 분포를 보고하며, 모든 주석 판단을 공개해 애매함을 반영합니다.

실험 결과

연구 질문

• RQ1 헤드라인에 경험주체, 원인, 대상, 단서를 포함한 구조화된 감정 표현으로 주석화할 수 있을까?
• RQ2 감정 분류, 강도 및 의미 역할에 대한 크라우드소싱 주석의 신뢰도는 어떠한가?
• RQ3 헤드라인의 감정에 대한 의미 역할 구조를 예측하는 기초 모델은 가능하며 그 성능은 어떠한가?
• RQ4 헤드라인에서 독자 인식의 감정이 작가의 명시적 감정이나 텍스트의 감정과 어떻게 비교되는가?

주요 결과

• 데이터세트는 5,000개 헤드라인, 56,612단어, 17,513개 고유 토큰을 포함하며, 평균 헤드라인 길이는 11단어이다.
• 1단계와 2단계 크라우드소싱은 서로 다른 합의 패턴을 보였으며, 감정 태스크에서의 합의가 열린 질문 태스크보다 높았고, 지배적 감정 라벨링에서 주관성이 두드러졌다.
• 열린 질문(경험주체, 단서, 원인, 대상)에 대한 주석자 간 합의는 변동적이지만 전반적으로 공정한 지표를 보인다(예: 경험주체, 단서, 원인, 대상의 평균값들).
• 단서와 원인은 가장 많이 주석된 역할이며(각각 27%), 대상이 그다음으로 많고(25%), 경험주체는 주석의 19%에서 나타난다.
• 부정적 놀람과 긍정적 놀람이 전체 감정 주석에서 지배적이며, 애정(Love)은 가장 적게 주석되었다.
• 저자는 판정 가이드라인을 제공하고 Most Common Subsequence와 Longest Common Subsequence와 같은 규칙이 열린 질문의 자동 판정에 도움을 준다는 것을 보여준다.