[논문 리뷰] Modeling Trolling in Social Media Conversations

Luis Gerardo Mojica|arXiv (Cornell University)|2016. 12. 15.

Hate Speech and Cyberbullying Detection참고 문헌 23인용 수 25

한 줄 요약

이 논문은 소셜 미디어에서 트롤링을 모델링하기 위한 새로운 4차원 프레임워크를 제안하며, 트롤의 의도와 대응자들의 해석 및 반응을 모두 분석한다. 트롤의 의도, 의도 공개, 대응자의 해석, 반응 전략을 라벨링한 첫 번째 공개 가능한 주석 처리된 데이터셋을 제시하여, 트롤링을 이중적 시각에서 계산적으로 모델링할 수 있도록 한다.

ABSTRACT

Social media websites, electronic newspapers and Internet forums allow visitors to leave comments for others to read and interact. This exchange is not free from participants with malicious intentions, who troll others by positing messages that are intended to be provocative, offensive, or menacing. With the goal of facilitating the computational modeling of trolling, we propose a trolling categorization that is novel in the sense that it allows comment-based analysis from both the trolls' and the responders' perspectives, characterizing these two perspectives using four aspects, namely, the troll's intention and his intention disclosure, as well as the responder's interpretation of the troll's intention and her response strategy. Using this categorization, we annotate and release a dataset containing excerpts of Reddit conversations involving suspected trolls and their interactions with other users. Finally, we identify the difficult-to-classify cases in our corpus and suggest potential solutions for them.

연구 동기 및 목표

• 트롤의 의도와 대응자의 인식 및 반응을 모두 포괄하는 종합적인 트롤링 계산 모델을 개발하기 위해.
• 트롤 의도, 의도 공개, 대응자의 해석, 반응 전략의 네 가지 차원에 라벨링된 새로운 Reddit 대화 주석 처리 데이터셋을 구축하기 위해.
• 모호한 의도, 느끼는 모욕, 복잡한 반응 역학을 포함한 트롤링 분류에서 어려운 케이스를 식별하고 분석하기 위해.
• 공개 가능한 고품질 주석 처리 자원을 제공하여 향후 NLP 분야의 트롤링 연구를 자극하기 위해.

제안 방법

• 트롤의 의도, 의도 공개, 대응자의 의도 해석, 대응자의 반응 전략의 네 가지 차원으로 구성된 4차원 분류 체계를 제안한다.
• 의심스러운 트롤을 포함한 Reddit 대화 요약을 수집하고, 맥락과 즉각적인 반응을 함께 주석 처리한다.
• 최신 NLP 기법을 사용하여 다중 클래스 분류기를 훈련시키며, Bag-of-Words와 GloVe 단어 임베딩을 포함한다.
• 오분류된 사례를 분석하여 공개, 해석, 반응 전략 예측에서의 주요 과제를 규명한다.
• 해석과 반응 전략과 같은 관련 작업들을 함께 모델링하여 성능 향상을 도모한다.
• 분류 오류를 해결하기 위해 더 깊은 의미 표현과 대화 시퀀스의 시간적 모델링을 제안한다.

실험 결과

연구 질문

• RQ1 온라인 대화에서 트롤의 시각과 대응자의 시각에서 트롤링을 체계적으로 어떻게 모델링할 수 있는가?
• RQ2 다른 종류의 트롤링과 반응을 구분하는 데 핵심이 되는 언어적 및 맥락적 신호는 무엇인가?
• RQ3 어느 경우가 가장 분류하기 어려운가? 이러한 오류를 초래하는 근본적인 요인은 무엇인가?
• RQ4 의도, 인식, 반응의 공동 모델링은 분류 성능 향상에 어떻게 기여하는가?
• RQ5 대화 이력과 시간적 동역학은 트롤링 행동을 해석하는 데 어떤 역할을 하는가?

주요 결과

• 제안된 4차원 프레임워크는 트롤의 의도와 대응자의 인식 및 반응을 모두 포착함으로써 더 정교한 계산 모델링을 가능하게 한다.
• 이 연구에서 공개된 데이터셋은 트롤 측과 대응자 측의 트롤링 차원을 모두 포함한 첫 번째 유사한 데이터셋이다.
• 의도 공개 예측 오류는 얕은 의미 표현에서 기인하며, '머리에 총을 쏘는 것'처럼 암시적 의미를 모욕적으로 해석하기 위해서는 더 깊은 의미 모델링이 필요하다.
• '도전'과 '중립화' 반응 전략 간의 차이점은 미묘하며, 특히 비난이 간접적일 경우 자주 오분류된다.
• 대응자가 공격적으로 행동할 경우 '트롤'과 '참여' 반응의 경계가 흐려지며, 더 긴 대화 시퀀스는 이러한 격상의 핵심 지표가 된다.
• 반응 이력과 시간적 시퀀스와 같은 맥락적 특징을 사용하면, 특히 모호하거나 고갈된 상호작용의 경우 분류 성능 향상에 기여할 수 있다.