[논문 리뷰] Stance Classification in Rumours as a Sequential Task Exploiting the Tree Structure of Social Media Conversations

Arkaitz Zubiaga, Elena Kochkina외 3명|arXiv (Cornell University)|2016. 09. 28.

Misinformation and Its Impacts참고 문헌 27인용 수 65

한 줄 요약

이 논문은 대화의 구조를 고려하여 트위터 대화에서 루머의 입장을 분류하는 새로운 순차적 접근법을 제안한다. 응답 스레드를 트리 구조로 모델링하고, 선형 체인 및 트리 조건부 랜덤 필드(CRF)를 사용하여 대화의 구조적 특성을 활용한다. 연구 결과, 전체 트리 구조를 활용하는 것이 비순차적 방법보다 매크로 평균 F1 점수를 크게 향상시키며, 트리 CRF가 선형 CRF 및 기준 모델보다 여덟 개인 뉴스 이벤트 데이터셋에서 모두 뛰어난 성능을 보였다.

ABSTRACT

Rumour stance classification, the task that determines if each tweet in a collection discussing a rumour is supporting, denying, questioning or simply commenting on the rumour, has been attracting substantial interest. Here we introduce a novel approach that makes use of the sequence of transitions observed in tree-structured conversation threads in Twitter. The conversation threads are formed by harvesting users' replies to one another, which results in a nested tree-like structure. Previous work addressing the stance classification task has treated each tweet as a separate unit. Here we analyse tweets by virtue of their position in a sequence and test two sequential classifiers, Linear-Chain CRF and Tree CRF, each of which makes different assumptions about the conversational structure. We experiment with eight Twitter datasets, collected during breaking news, and show that exploiting the sequential structure of Twitter conversations achieves significant improvements over the non-sequential methods. Our work is the first to model Twitter conversations as a tree structure in this manner, introducing a novel way of tackling NLP tasks on Twitter conversations.

연구 동기 및 목표

• 각 트윗을 상호작용 없이 고립된 단위로 간주하는 것의 한계를 해결하기 위해, 대화의 맥락을 고려하지 않는 문제를 해결하고자 한다.
• 트위터 응답 스레드의 순차적 구조를 모델링할 경우 입장 분류 성능 향상 여부를 조사하고자 한다.
• 루머성 트위터 대화에서 두 가지 순차 모델인 선형 체인 CRF와 트리 CRF의 성능을 평가하고자 한다.
• 대화의 전체 트리 구조를 포괄적으로 모델링할 경우, 선형 브랜치만 고려하는 것보다 성능 향상이 이루어지는지 확인하고자 한다.
• 대화의 구조적 특성이 입장 탐지에 기여함을 보여주며, 향후 소셜 미디어 기반 NLP 작업의 기초를 마련하고자 한다.

제안 방법

• 저자들은 원본 트윗에 대한 응답을 수확하여 중첩된 트리 구조의 응답 스레드를 구성한다.
• 입장 분류 작업을 시퀀스 레이블링 문제로 모델링하며, 각 트윗의 입장(지지, 부정, 질문, 댓글)은 대화 트리 내의 위치에 따라 예측된다.
• 두 가지 순차 분류기 모델을 사용한다: 선형 체인 CRF는 각 응답 브랜치를 선형 순서로 간주하고, 트리 CRF는 전체 대화 트리의 구조를 모델링한다.
• 모델은 국소적 특징(예: 트윗 내용, 어휘적 신호)을 사용하며, 대화 구조를 따라 입장 유형 간 전이 확률을 활용한다.
• 성능 평가는 여덟 개의 실제 뉴스 이벤트에서 마이크로 및 매크로 평균 F1 점수를 기반으로 한다.
• 비순차 기준 모델(최대 엔트로피 및 비순차적 CRF)과의 비교를 통해 동일한 특징 기반으로 공정한 비교를 확보한다.

실험 결과

연구 질문

• RQ1 트윗을 고립된 단위로 간주하는 것보다 트위터 응답 스레드의 순차적 구조를 모델링할 경우 입장 분류 성능 향상이 이루어지는가?
• RQ2 대화의 전체 트리 구조가 선형 브랜치보다 입장 분류에 더 유용한가?
• RQ3 여러 루머 이벤트에서 트리 CRF의 성능은 선형 체인 CRF 및 비순차 모델보다 어떻게 다를까?
• RQ4 대화의 구조적 특성을 활용할 경우, 소수의 입장 유형(예: 부정)에 대한 분류 성능 향상 정도는 어느 정도인가?
• RQ5 트리 구조의 대화에서 유도된 순차 모델링 기법이 소셜 미디어 기반 다른 NLP 작업에 일반화 가능한가?

주요 결과

• 트리 CRF는 비순차 모델보다 유의미하게 높은 매크로 평균 F1 점수를 기록하여, 소수의 입장 유형에 대한 성능 향상이 뚜렷하게 나타남을 시사한다.
• 대화 트리의 10단계 중 7단계에서 트리 CRF가 선형 체인 CRF를 앞서며, 전체적인 구조적 맥락의 가치를 입증한다.
• 클래스 불균형으로 인해 마이크로 평균 F1 점수는 모델 간 유사하지만, 매크로 평균 F1 점수는 순차 모델, 특히 트리 CRF가 일관되게 향상됨을 보여준다.
• 모든 입장 유형에 대해 분류 성능 향상이 이루어지며, 특히 부족한 자원을 가진 유형인 부정 및 질문 유형에서 두드러진 향상이 관찰된다.
• 결과적으로, 대화의 구조, 특히 전체 트리 구조가 국소적 트윗 특징을 넘어서 입장 예측에 유의미한 순차적 맥락을 제공한다는 점이 입증된다.
• 이 연구는 소셜 미디어 대화의 구조를 활용한 입장 분류의 새로운 프레임워크를 수립하며, 사용자 생성 콘텐츠 기반 NLP에서의 순차 모델링 가능성을 열어준다.