[논문 리뷰] Estimating collective judgement of rumours in social media.

Michał Łukasik, Trevor Cohn외 1명|arXiv (Cornell University)|2015. 06. 01.

Misinformation and Its Impacts참고 문헌 13인용 수 6

한 줄 요약

이 논문은 공통적 특성과 개별적 특성을 가진 뉴스에 대해 일반화할 수 있도록, 주석이 달린 예시를 활용하여 소셜 미디어에서 뉴스에 대한 집단적 판단을 추정하기 위한 지도 학습 접근법을 제안한다. 서로 다른 일곱 개의 뉴스에 걸쳐 수천 건의 트윗을 대상으로 한 평가에서, 개인적 판단과 집단적 판단 모두를 성공적으로 예측함을 입증하였다.

ABSTRACT

Social media is a rich source of rumours and corresponding community reactions. Determining the extent of community belief in a rumour is of value for marketing, politics and journalism. Moreover, collective judgements have been shown to correlate with ground truth. We formulate the problem of estimating the collective judgement of a rumour in social media as a supervised learning using annotated examples. Rumours reflect different characteristics, some shared and some individual. We consider both supervised and unsupervised domain adaptation, in which rumour predictions are made on the basis of other annotated rumours. Evaluation on a set of several thousands tweets on seven rumours shows that we can successfully predict individual and collective judgements.

연구 동기 및 목표

• 소셜 미디어 플랫폼에서 뉴스에 대한 집단적 인간 판단을 모델링하고 예측하는 것.
• 제한된 주석 데이터를 활용하여 뉴스에 대한 커뮤니티 신념을 추정하는 과제를 해결하는 것.
• 다른 뉴스로의 일반화를 위해 지도 학습 및 비지도 도메인 적응 기법을 탐색하는 것.
• 실제 소셜 미디어 데이터를 활용하여 다수의 뉴스를 포함하는 이러한 방법의 효과성을 평가하는 것.

제안 방법

• 주석이 달린 소셜 미디어 게시물을 활용하여 뉴스 판단 추정을 지도 학습 문제로 공식화한다.
• 주석이 달린 뉴스에서 새로운 주석이 없는 뉴스로 지식을 전이하기 위해 지도 학습 도메인 적응을 적용한다.
• 추가 주석이 필요 없이 뉴스 간에 모델을 적응시키기 위해 비지도 도메인 적응을 활용한다.
• 트윗 내용과 커뮤니티 반응에서 파생된 특징을 사용하여 뉴스의 특성을 표현한다.
• 일곱 개의 서로 다른 뉴스에 걸쳐 수천 건의 트윗으로 구성된 데이터셋에서 모델을 훈련하고 평가한다.

실험 결과

연구 질문

• RQ1 주석이 달린 예시를 기반으로 한 지도 학습을 통해 소셜 미디어에서의 뉴스에 대한 집단적 판단을 정확하게 추정할 수 있는가?
• RQ2 도메인 적응은 서로 다른 뉴스 간의 판단 예측 성능 향상에 얼마나 효과적인가?
• RQ3 뉴시스의 공통적 특성과 개별적 특성이 판단 성능에 어느 정도의 영향을 미치는가?
• RQ4 비지도 도메인 적응은 추가 주석 없이도 새로운 뉴스로 효과적으로 일반화하는 데에 얼마나 효과적인가?

주요 결과

• 제안된 방법은 주석이 달린 학습 데이터를 활용하여 뉴스에 대한 개인적 판단과 집단적 판단을 성공적으로 예측한다.
• 유사한 뉴스 간 지식 전이 시 지도 학습 도메인 적응이 예측 성능 향상에 기여한다.
• 비지도 도메인 적응은 추가 주석 없이도 새로운 뉴스로의 효과적 일반화를 가능하게 한다.
• 모델은 다양한 뉴스에서 안정적인 성능을 보이며, 뉴스 특성의 변동성에 대해 강건함을 입증한다.