[논문 리뷰] Quantifying Controversy in Social Media

Kiran Garimella, Gianmarco De Francisci Morales외 2명|arXiv (Cornell University)|2015. 07. 18.

Social Media and Politics참고 문헌 36인용 수 4

한 줄 요약

이 논문은 사용자 상호작용(예: 재게재)에서 대화 그래프를 구성하고, 세 단계 파ipeline(그래프 구축, 분할을 통한 대립 관점 식별, 무작위 보행 기반 메트릭을 통한 논란도 측정)을 적용함으로써 소셜 미디어에서 논란을 정량화하기 위한 도메인 무관의 그래프 기반 프레임워크를 제안한다. 주요 기여는 RWC(Random Walk Controversy) 측정법의 도입으로, 특히 티커에서 기존 방법보다 논란이 있는 주제와 없는 주제를 더 잘 구분함을 보여주며, 콘텐츠 특징은 대부분 효과가 없음을 확인한다.

ABSTRACT

Which topics spark the most heated debates on social media? Identifying those topics is not only interesting from a societal point of view, but also allows the filtering and aggregation of social media content for disseminating news stories. In this paper, we perform a systematic methodological study of controversy detection by using the content and the network structure of social media. Unlike previous work, rather than study controversy in a single hand-picked topic and use domain specific knowledge, we take a general approach to study topics in any domain. Our approach to quantifying controversy is based on a graph-based three-stage pipeline, which involves (i) building a conversation graph about a topic; (ii) partitioning the conversation graph to identify potential sides of the controversy; and (iii) measuring the amount of controversy from characteristics of the graph. We perform an extensive comparison of controversy measures, different graph-building approaches, and data sources. We use both controversial and non-controversial topics on Twitter, as well as other external datasets. We find that our new random-walk-based measure outperforms existing ones in capturing the intuitive notion of controversy, and show that content features are vastly less helpful in this task.

연구 동기 및 목표

• 도메인 특화 지식이나 수작업으로 준비된 데이터셋에 의존하지 않고, 일반 목적의 도메인 무관 방법을 개발하여 소셜 미디어에서 논란을 탐지하고 정량화하는 것.
• 다양한 주제, 특히 논란이 있는 주제와 없는 주제를 포함하여, 다양한 데이터 소스, 논란 측정법, 그래프 구축 방법을 체계적으로 평가하는 것.
• 소셜 미디어 대화에서 논란을 가장 잘 예측하는 구조적, 정서적, 콘텐츠 기반 특징을 특정하는 것.
• 실세계 시스템에 적용 가능하고 에코 채터와 필터 버블을 완화하는 데 사용할 수 있는 신뢰성 있고 확장 가능한 논란 측정 프레임워크를 구축하는 것.

제안 방법

• 텍스트 쿼리(예: 티커의 해시태그)로 정의된 주제와 관련된 사용자 상호작용(재게재, 언급, 답글 등)을 엣지로 사용자 노드를 포함하는 대화 그래프를 구축한다.
• 특히 METIS와 음성 엣지를 가진 상관관계 클러스터링을 사용한 그래프 분할 알고리즘을 적용하여 대립 관점을 가진 사용자 군집을 식별한다.
• 연결도, 모듈라리티, 정렬성, 그리고 새로운 무작위 보행 기반 측정법(RWC)을 포함한 여러 논란 측정법을 개발하고 평가하여 극단화 정도를 정량화한다.
• RWC 측정법을 사용하여 그래프 내에서의 무작위 보행의 기대 도달 시간 비율을 계산함으로써 대립 군집 간의 분리 정도에 기반해 논란을 평가한다.
• 대규모 티커 대화 데이터셋과 외부 데이터셋을 사용하여 모든 측정법을 평가하고, 논란에 대한 인간 레이블을 골드 표준으로 사용한다.
• 콘텐츠 기반 특징(예: 키워드, 정서)과 구조적 특징을 비교하여, 특히 재게재 기반 지지 특징이 훨씬 더 예측력이 높음을 확인한다.

실험 결과

연구 질문

• RQ1 수작업으로 준비된 데이터셋이나 도메인 특화 지식에 의존하지 않고도, 일반적이고 도메인 무관한 접근 방식을 통해 소셜 미디어의 논란을 신뢰성 있게 정량화할 수 있는가?
• RQ2 구조적, 정서적, 콘텐츠 기반 특징 중에서 논란이 있는 주제와 없는 주제를 가장 잘 구분하는 그래프 기반 특징은 무엇인가?
• RQ3 연결도, 모듈라리티, RWC와 같은 다양한 논란 측정법이 다양한 주제에 걸쳐 논란의 직관적 개념을 얼마나 잘 반영하는가?
• RQ4 키워드나 정서와 같은 콘텐츠 기반 특징은 논란 탐지에 어느 정도 기여하는가? 그리고 단독으로 신뢰성 있게 사용될 수 있는가?
• RQ5 제안된 RWC 측정법은 다양한 데이터 소스와 도메인으로 일반화되는가? 그리고 기존 최첨단 측정법을 능가하는가?

주요 결과

• 무작위 보행 기반 논란 측정법(RWC)은 논란이 있는 주제와 없는 주제를 식별하는 데 있어 평가된 모든 다른 측정법보다 뚜렷이 뛰어나며, 경험적 평가에서 우수한 분리 성능을 보였다.
• 콘텐츠 기반 특징(예: 키워드, 정서)은 논란 탐지에 매우 낮은 효과를 보였으며, 정서 분석은 약간의 잠재력만 보였고, 구조적 특징(특히 재게재 기반 지지)이 훨씬 더 예측력이 높았다.
• 재게재 엣지를 사용한 METIS 기반 그래프 분할이 대립 관점을 가장 신뢰성 있게 식별했으며, 언급 기반 또는 무작위 분할 방법보다 뛰어났다.
• 기존의 측정법인 모듈라리티와 정렬성은 인간 레이블 기반 논란 점수와 상관관계가 없었으며, 이는 이들 측정법이 이 맥락에서 극단화의 우수한 지표가 되지 못한다는 것을 시사한다.
• RWC 측정법은 티커와 외부 소셜 미디어 데이터를 포함한 다양한 데이터셋과 도메인에서 잘 일반화되었으며, 그 신뢰성과 확장성은 확인되었다.
• 단순한 구조적 측정법(예: 컷 크기 또는 연결도)은 크기와 밀도가 다른 그래프 간에 일반화되지 않아 대규모 시스템에서의 활용도가 제한되었다.