[논문 리뷰] Stance in Replies and Quotes (SRQ): A New Dataset For Learning Stance in Twitter Conversations

Ramón Villa-Cox, Sumeet Kumar외 2명|arXiv (Cornell University)|2020. 06. 01.

Topic Modeling인용 수 12

한 줄 요약

이 논문은 5,200개 이상의 레이블을 포함한 Twitter 대화에서 응답과 인용문의 입장을 분석하기 위해 설계된 가장 큰 인간 레이블링된 입장 데이터셋인 Stance in Replies and Quotes (SRQ) 데이터셋을 소개한다. 이는 주로 부정과 지지 입장을 탐지하기 위해 특화되어 있으며, 비중립 응답에 치우친 표적적 데이터 수집 방법을 통해 더 균형 잡힌 클래스 분포를 확보하였다. 또한 응답과 인용문은 언어적 패턴이 다르므로 별도의 모델이 필요하며, GloVe 기반의 딥러닝 모델이 더 복잡한 특징 조합보다 뛰어난 성능을 보였다.

ABSTRACT

Automated ways to extract stance (denying vs. supporting opinions) from conversations on social media are essential to advance opinion mining research. Recently, there is a renewed excitement in the field as we see new models attempting to improve the state-of-the-art. However, for training and evaluating the models, the datasets used are often small. Additionally, these small datasets have uneven class distributions, i.e., only a tiny fraction of the examples in the dataset have favoring or denying stances, and most other examples have no clear stance. Moreover, the existing datasets do not distinguish between the different types of conversations on social media (e.g., replying vs. quoting on Twitter). Because of this, models trained on one event do not generalize to other events. In the presented work, we create a new dataset by labeling stance in responses to posts on Twitter (both replies and quotes) on controversial issues. To the best of our knowledge, this is currently the largest human-labeled stance dataset for Twitter conversations with over 5200 stance labels. More importantly, we designed a tweet collection methodology that favors the selection of denial-type responses. This class is expected to be more useful in the identification of rumors and determining antagonistic relationships between users. Moreover, we include many baseline models for learning the stance in conversations and compare the performance of various models. We show that combining data from replies and quotes decreases the accuracy of models indicating that the two modalities behave differently when it comes to stance learning.

연구 동기 및 목표

• Twitter 대화에서 부정 및 지지 입장을 포함한 대규모이고 균형 잡힌 입장 데이터셋의 부족을 해결하기 위해.
• 기존 데이터셋이 '의견'을 대부분 차지하고 부정을 저조하게 표현하는 한계를 극복하기 위해.
• 응답과 인용문을 서로 다른 모odal로 간주하여 입장 표현 방식을 구분하는 새로운 데이터셋을 만들기 위해.
• 농담 탐지 및 커뮤니티 극단화 분석과 같은 애플리케이션을 위한 대화 내 입장 모델링 향상을 위해.
• 기본 모델을 제공하고 다양한 입력 특징 및 데이터 유형(응답, 인용문, 통합) 간 성능을 평가하기 위해.

제안 방법

• 부정 표현 가능성이 높은 응답에 치우친 표적적 트윗 수집 방법을 개발하여 클래스 균형을 향상시켰다.
• 2018년 미국의 세 가지 논란이 있었던 사건과 추가로 비사건 기반 데이터를 수집하였다.
• 응답-대상 쌍의 대표 샘플을 선별하여 입장(지지, 부정, 중립)에 대해 레이블링하였다.
• 표현적 비중립 및 암시적 비중립 응답이라는 두 가지 새로운 입장 카테고리 도입으로 오류 분석을 향상시켰다.
• GloVe, SKP, DMJ 및 조합된 특징을 사용하여 여러 모델을 훈련하고 비교하였으며, 단일 완전 연결 층과 ReLU 활성화 함수를 사용하였다.
• RMSProp 옵티마이저를 사용하고 카테고리형 교차 엔트로피 손실을 적용하였으며, 초기 실험을 통해 학습률과 레이어 크기를 튜닝하였다.

실험 결과

연구 질문

• RQ1 응답과 인용문에 대해 별도로 훈련된 모델의 성능는 어떻게 다른가? 그리고 이들은 별도의 모델링이 필요한가?
• RQ2 부정 및 지지 입장을 더 높은 비율로 포함한 균형 잡힌 데이터셋은 이들 소수 클래스에 대한 모델 성능 향상에 기여하는가?
• RQ3 다양한 입력 표현 방식(GloVe, SKP, DMJ, 통합)이 입장 분류 성능에 어떤 영향을 미치는가?
• RQ4 응답과 인용문을 하나의 훈련 세트로 통합하면 성능 저하가 발생하는가? 이는 입장 표현 방식에 근본적인 차이가 있음을 시사하는가?
• RQ5 이 제한된 규모의 데이터셋에서 SVM과 TF-IDF 특징을 사용한 간단한 모델이 딥러닝 모델보다 성능이 떨어지는가?

주요 결과

• GloVe 기반 딥러닝 모델이 모든 데이터셋에서 가장 높은 F1 점수(micro)를 기록하였으며, SKPDMJ와 같은 더 복잡한 특징 조합보다 뛰어난 성능을 보였다.
• 응답과 인용문을 통합한 데이터로 훈련된 모델은 각각의 모odal만으로 훈련된 모델보다 성능이 열 劣하므로, 응답과 인용문은 입장 표현 패턴에서 본질적으로 다름을 시사한다.
• 혼동 행렬에서 부정 클래스가 가장 높은 성능를 기록하여, 데이터 수집 방법이 이 중요한 클래스의 탐지 성능 향상에 성공했음을 확인하였다.
• TF-IDF 특징을 사용한 SVM 모델이 딥러닝 모델과 유사한 성능을 보였으며, 이는 제한된 규모의 입장 데이터셋에서 단순한 모델이 효과적일 수 있음을 시사한다.
• 단일 완전 연결 층이 다중 레이어 네트워크보다 뛰어난 성능를 보였으며, 이는 이 데이터셋에서는 모델 복잡도가 반드시 성능 향상과 연결되지 않음을 시사한다.
• 표현적 및 암시적 비중립 입장 카테고리의 포함으로 더 세밀한 오류 분석이 가능해졌으며, 이는 맥락 기반 분류 과제의 어려움을 드러냈다.