[논문 리뷰] A Motif-based Approach for Identifying Controversy

Mauro Coletto, Kiran Garimella외 2명|arXiv (Cornell University)|2017. 03. 15.

Misinformation and Its Impacts참고 문헌 6인용 수 8

한 줄 요약

이 논문은 언어나 주제에 의존하지 않는, 모티프 기반의 접근 방식을 제안하여 소셜 미디어에서 지역적 사용자 상호작용 패턴을 분석함으로써 논란을 탐지한다. 전반적인 네트워크 구조나 텍스트 내용에 의존하지 않는다. 이 방법은 논란이 있는 토론을 85%의 정확도로 분류하며, 기준 구조적, 전파 기반, 시간적 특징보다 7个百分点 높은 성능을 보이며, 이중 상호작용 패턴이 특히 사회적 원소를 초월한 극단적 참여를 포착하는 데 효과적이다.

ABSTRACT

Among the topics discussed in Social Media, some lead to controversy. A number of recent studies have focused on the problem of identifying controversy in social media mostly based on the analysis of textual content or rely on global network structure. Such approaches have strong limitations due to the difficulty of understanding natural language, and of investigating the global network structure. In this work we show that it is possible to detect controversy in social media by exploiting network motifs, i.e., local patterns of user interaction. The proposed approach allows for a language-independent and fine- grained and efficient-to-compute analysis of user discussions and their evolution over time. The supervised model exploiting motif patterns can achieve 85% accuracy, with an improvement of 7% compared to baseline structural, propagation-based and temporal network features.

연구 동기 및 목표

• 콘텐츠 기반 및 전반적 네트워크 기반의 논란 탐지 방법의 한계를 해결하기 위해, 언어, 주제, 네트워크 군집화에 대한 계산적 가정에 민감한 방법들에 기반한 문제점을 해결한다.
• 지역적이고 반복 가능한 사용자 상호작용 패턴에 초점을 맞추어 언어와 주제에 관계없이 논란을 식별하는 방법을 개발한다.
• 더 큰 논란이 없는 대화 내에서 논란이 있는 하위 토론을 세밀하고 동적으로 탐지할 수 있도록 한다.
• 지역 네트워크 모티프가 전통적인 구조적, 전파 기반, 시간적 특징보다 논란 예측에 더 뛰어나게 작용하는지 평가한다.
• 모티프 기반 분석을 통해 대화의 진화를 스케일러블하고 효율적인 방식으로 모니터링할 수 있는지 입증한다.

제안 방법

• 사용자 상호작용을 사용자 응답 그래프 R = (U, I)로 모델링하며, 여기서 간선은 사용자 간의 응답을 나타내고, 지역적 상호작용 패턴으로 불리는 모티프를 추출한다.
• 모티프는 작은 반복적인 상호작용 서브그래프로, 이중 패턴(예: 상호 응답, 단방향 응답)과 삼중 패턴(예: 세 사용자 간의 상호 응답)을 포함한다.
• 각 응답 트리에 대해 모티프 빈도를 특징으로 계산하며, 특히 사회적 네트워크 경계를 초월한 비상호적 및 상호적 응답 행동을 포착하는 이중 모티프에 중점을 둔다.
• 모티프 기반 특징과 함께 기준 특징(예: 응답 트리 크기, 평균 응답 간격, 최대 상대 차수)을 결합하여 지도 학습 모델(AdaBoost)을 훈련시킨다.
• 이 모델은 전체 스레드 뿐 아니라, 비논란적 대화 내에서의 하위 트리에도 적용되어, 일반적으로 논란이 없는 대화 내에서도 국소적 논란을 탐지할 수 있다.
• 이 접근 방식은 수작업으로 논란 여부를 주석 처리한 18개 페이지에서 온 192.7만 개의 트윗을 포함한 정제된 트위터 데이터셋을 기반으로 평가되었다.

실험 결과

연구 질문

• RQ1 지역 네트워크 모티프는 언어와 주제에 관계없이 소셜 미디어에서 논란이 있는 토론과 없는 토론을 효과적으로 구분할 수 있는가?
• RQ2 모티프 기반 특징은 전통적인 구조적, 전파 기반, 시간적 특징에 비해 논란 탐지 성능에서 어떻게 비교되는가?
• RQ3 모티프 분석은 얼마나 큰 논란이 없는 대화 내에서 논란이 있는 하위 토론을 탐지할 수 있는가?
• RQ4 어떤 특정 모티프 패턴이 논란을 가장 잘 나타내며, 이는 사용자 참여 동역학에 대해 무엇을 드러내는가?
• RQ5 모티프 기반 모델은 스케일러블하고 효율적인 방식으로 논란의 진화를 시간에 따라 모니터링하는 데 사용될 수 있는가?

주요 결과

• 모티프 기반 모델은 논란 분류에서 85%의 정확도를 달성하며, 기준 구조적, 전파 기반, 시간적 특징을 사용한 모델보다 7个百分点 높은 성능을 보였다.
• 기준 특징에 이중 모티프를 추가함으로써 정확도가 78%에서 84%로 상승하여, 이중 모티프가 논란 예측에 매우 강력한 예측력을 지닌다는 것을 입증했다.
• 삼중 모티프는 빈도가 낮아 성능 향상에 거의 기여하지 않았지만, 논란이 있는 스레드에서는 관련성이 있음이 확인되었다.
• 모델에서 가장 중요한 특징은 평균 응답 간격이며, 그 다음으로 최대 상대 차수가 높은 특징이었고, 이중 모티프는 상위 6개 이내의 영향력 있는 특징 중 하나로 랭크되었다.
• 비논란적 루트 트윗에서 유도된 직접 응답 하위 트리의 約 7%가 논란이 있는 것으로 분류되었으며, 이는 메서드가 넓은 토론 내에서 국소적 논란을 탐지할 수 있음을 확인한다.
• 특히 비친구 관계 간의 참여를 나타내는 이중 모티프(예: 모티프 A)는 논란에 매우 예측 가능하며, 상호 친구 관계를 포함하는 모티프(예: 모티프 C)는 덜 관련성이 있었다.