[논문 리뷰] Using Gaussian Processes for Rumour Stance Classification in Social Media

Michał Łukasik, Kalina Bontcheva외 4명|arXiv (Cornell University)|2016. 09. 07.

Misinformation and Its Impacts인용 수 8

한 줄 요약

이 논문은 전이 학습을 통해 다양한 뉴스에 걸쳐 일반화 능력을 향상시키기 위해 다중 작업 가우시안 프로세스 기반 분류기를 제안한다. 이는 자동화된 소셜 미디어 뉴스 입장 분류를 위한 것으로, 특히 제한된 라벨이 부여된 타겟 뉴스에서 입장 분포 추정에 있어 최신 기준보다 뛰어난 성능을 보이며, 라벨이 적은 경우 매크로 평균 F1에서 두드러진 성과를 기록한다.

ABSTRACT

Social media tend to be rife with rumours while new reports are released piecemeal during breaking news. Interestingly, one can mine multiple reactions expressed by social media users in those situations, exploring their stance towards rumours, ultimately enabling the flagging of highly disputed rumours as being potentially false. In this work, we set out to develop an automated, supervised classifier that uses multi-task learning to classify the stance expressed in each individual tweet in a rumourous conversation as either supporting, denying or questioning the rumour. Using a classifier based on Gaussian Processes, and exploring its effectiveness on two datasets with very different characteristics and varying distributions of stances, we show that our approach consistently outperforms competitive baseline classifiers. Our classifier is especially effective in estimating the distribution of different types of stance associated with a given rumour, which we set forth as a desired characteristic for a rumour-tracking system that will warn both ordinary users of Twitter and professional news practitioners when a rumour is being rebutted.

연구 동기 및 목표

• 다양한 뉴스와 데이터셋 간 일반화 능력을 갖춘 자동화된 지도 학습 기반 입장 분류기를 개발하는 것.
• 실시간 소셜 미디어 대화에서 사용자 입장(지지, 부정, 질문)을 분석하여 뉴스 진위도 탐지 능력을 향상시키는 것.
• 낮은 자원 환경에서 뉴스 입장 분류에 다중 작업 학습과 가우시안 프로세스의 효과를 평가하는 것.
• 시간적 순서와 특징 공학(예: 브라운 클러스터)이 입장 분류 성능에 미치는 영향을 평가하는 것.
• 제한된 라벨이 부여된 신규 뉴스에서의 실용적 구현 사례를 탐색하는 것.

제안 방법

• 이 방법은 다중 작업 가우시안 프로세스 분류기를 사용하며, 서로 다른 뉴스 주제 간 정보를 공유하기 위해 내재적 공공성 모델(Intrinsic Coregionalization Model, ICM)을 적용한다.
• 학습 및 추론 과정에서 트윗의 시간적 순서를 유지하여 뉴스 논의의 순차적 동역학을 보존한다.
• 텍스트 특징은 백오브워즈 모델보다 더 효과적으로 의미적 및 문법적 패턴을 포착하는 브라운 클러스터 임베딩에서 유도된다.
• 모델은 이전에 애너테이션된 뉴스와, Leave Part Out 설정에서는 타겟 뉴스에서 소수의 라벨이 부여된 인스턴스를 조합하여 학습한다.
• 두 가지 실험 설정을 사용한다: Leave One Out(타겟 뉴스에서 학습 데이터 없음) 및 Leave Part Out(타겟 뉴스에서 소수의 라벨이 부여된 인스턴스 포함).
• 프레임워크는 GPy 툴킷을 사용하여 구현되며, 최소한의 라벨 데이터로도 새로운 뉴스에 일반화할 수 있도록 전이 학습을 활용한다.

실험 결과

연구 질문

• RQ1 소수의 라벨 데이터만으로도 새로운, 보지 않은 뉴스에 대해 다중 작업 가우시안 프로세스 분류기가 입장 분류를 효과적으로 일반화할 수 있는가?
• RQ2 트윗의 시간적 순서를 고려할 경우 뉴스 논의에서 입장 분류 성능에 어떤 영향을 미치는가?
• RQ3 브라운 클러스터 특징은 기존의 백오브워즈 표현 방식보다 얼마나 성능 향상에 기여하는가?
• RQ4 특히 불균형 데이터셋에서 뉴스 내 입장 유형(Support, Deny, Question)의 분포를 얼마나 정확히 추정하는가?
• RQ5 타겟 뉴스에서 라벨 데이터가 전혀 없을 경우, 가우시안 프로세스 분류기와 기존의 기준 모델 중 어느 것이 더 우수한 성능을 보이는가?

주요 결과

• GP-ICM 분류기는 경쟁 기준 모델 대비 매크로 평균 F1에서 뚜렷한 우월성을 보이며, 뉴스 간 입장 유형의 분포 추정 능력이 뛰어나다는 것을 입증한다.
• Leave Part Out 설정에서 타겟 뉴스에서 소수의 라벨 트윗이 학습에 포함된 경우 GP-ICM은 최고의 성능을 기록하며, 극소수의 라벨 데이터로도 뛰어난 일반화 능력을 보여준다.
• 타겟 뉴스에서 라벨 데이터가 전혀 없는 경우(Leave One Out)에도 GP-ICM는 경쟁적인 성능을 유지하지만, 이 경우 MaxEnt나 랜덤 포레스트와 같은 다른 분류기들이 더 뛰어난 성능을 보인다.
• 브라운 클러스터 특징의 사용은 백오브워즈 특징 대비 더 높은 성능을 이끌어내며, 입장 분류에서 의미적 표현의 중요성을 강조한다.
• 이 분류기는 클래스 분포의 균형을 잘 유지할 수 있다는 점에서 핵심적인 강점이며, 이는 매우 논란이 많은 뉴스(일반적으로 위조된 뉴스일 가능성이 높음)를 신뢰성 있게 탐지할 수 있도록 한다.
• 결과적으로, 새로운 뉴스에서 소수의 라벨 인스턴스를 확보할 수 있는 경우 GP-ICM가 가장 적합한 선택임을 시사하며, 실세계 적용에 실용적이다.