[논문 리뷰] Something's Brewing! Early Prediction of Controversy-causing Posts from Discussion Features

Jack Hessel, Lillian Lee|arXiv (Cornell University)|2019. 04. 15.

Topic Modeling참고 문헌 35인용 수 6

한 줄 요약

이 논문은 Reddit에서의 논란이 될 만한 게시물에 대해 첫 15분 간의 토론에서 텍스트 내용과 구조적 특징(예: 댓글 트리의 깊이, 응답률 등)을 활용하여 조기 예측 모델을 제안한다. 결과적으로, 단지 4~5개의 초기 댓글만으로도 토론의 구조와 속도 특징이 텍스트 기반 기준보다 논란 예측 성능을 크게 향상시키며, 특히 트리 기반 및 속도 기반 특징이 텍스트 기반 특징보다 다양한 커뮤니티 간에 더 잘 일반화됨을 보여준다.

ABSTRACT

Controversial posts are those that split the preferences of a community, receiving both significant positive and significant negative feedback. Our inclusion of the word "community" here is deliberate: what is controversial to some audiences may not be so to others. Using data from several different communities on reddit.com, we predict the ultimate controversiality of posts, leveraging features drawn from both the textual content and the tree structure of the early comments that initiate the discussion. We find that even when only a handful of comments are available, e.g., the first 5 comments made within 15 minutes of the original post, discussion features often add predictive capacity to strong content-and-rate only baselines. Additional experiments on domain transfer suggest that conversation-structure features often generalize to other communities better than conversation-content features do.

연구 동기 및 목표

• 게시물의 본문 내용에만 의존하지 않고, 초기 토론 특징을 기반으로 Reddit 게시물이 논란이 될지를 예측하는 것.
• 본문 텍스트 외에도 초기 토론의 동적 특징이 향후 논란성에 신호가 될 수 있는지 조사하는 것.
• 특히 저자료 또는 제로샷 설정에서, 예측 특징이 다양한 서브레딧 간에 얼마나 전이 가능한지 평가하는 것.
• 다양한 커뮤니티 간에 구조적 특징과 속도 기반 특징이 텍스트 기반 특징보다 더 잘 일반화되는지 확인하는 것.
• 커뮤니티 모더레이터 및 사용자들이 잠재적으로 분열을 일으킬 만한 콘텐츠를 조기에 경고할 수 있도록 실질적인 통찰을 제공하는 것.

제안 방법

• 모델는 원본 게시물과 초기 댓글의 텍스트 특징(예: 감성, 주제, 어휘 다양성)과 함께 댓글 트리의 구조적 특징(예: 깊이, 분기 계수, 응답 수)을 조합하여 사용한다.
• 댓글 속도 특징(예: 분당 댓글 수, 응답률)을 포함하여 초기 참여 급증을 감지하고, 이는 논란의 징후가 될 수 있음을 반영한다.
• 게시 후 여러 시점(t=60, 180초 등)에 이진 분류기가 훈련되며, 해당 윈도우 내에서 가용한 특징을 사용해 향후 논란성 예측을 수행한다.
• 성능 평가에는 F1 점수와 정확도를 사용하며, 구조적 특징이 포함된 모델과 포함되지 않은 모델를 비교하고, 한 서브레딧에서 훈련하고 다른 곳에서 테스트하는 방식으로 도메인 전이를 평가한다.
• 특징의 강건성을 평가하기 위해, 텍스트, 트리, 속도 특징을 별도로 훈련한 모델과 조합한 모델의 성능을 6개의 서브레딧에서 비교한다.
• 인과 기반 기준을 사용하여 인기도 예측 모델과 비교하여, 논란 예측과 인기도 예측이 서로 다른 패턴을 학습한다는 점을 입증한다.

실험 결과

연구 질문

• RQ1 본문 텍스트 외에도 초기 토론 특징이 온라인 토론의 향후 논란성 예측에 기여할 수 있는가?
• RQ2 초기 댓글 트리의 구조적 특징과 속도 기반 특징이 텍스트 기반 특징에 비해 예측력과 커뮤니티 간 일반화 능력에서 어떻게 비교되는가?
• RQ3 텍스트 기반 특징은 다른 서브레딧 간 전이 시 성능이 얼마나 떨어지는가? 반면 트리 및 속도 기반 특징은 이러한 환경에서 어떻게 성능을 유지하는가?
• RQ4 내용 전용 특징으로 훈련된 모델과 초기 토론의 구조적 동적 특징을 포함한 모델 간에 의미 있는 성능 격차가 존재하는가?
• RQ5 첫 5개의 댓글만으로도 15분 이내에 최소한의 데이터로도 조기 논란 예측을 신뢰성 있게 수행할 수 있는가?

주요 결과

• 초기 토론 특징(텍스트, 트리, 속도)을 포함함으로써, 본문 텍스트 기반 기준 대비 논란 예측 성능이 크게 향상되며, 15분 이내에 단지 4~5개의 댓글만으로도 성능 향상이 가능하다.
• t=180초 시점에서 최고의 모델(C-(TEXT+TREE+RATE))은 AskMen 서브레딧에서 F1 점수 60.1%를 기록하여, 본문 전용 기준 모델을 뛰어넘고, 일부 경우에서는 인기도 기반 기준 모델보다도 뛰어난 성능을 보였다.
• 텍스트 기반 특징은 도메인 내 성능은 가장 높지만 매우 취약하다: AskWomen에서 훈련한 모델이 AskMen로 전이될 경우 정확도가 63% 감소하여 커뮤니티 특수성이 뚜렷하다.
• 반면, 속도 및 트리 기반 특징은 훨씬 더 뛰어난 전이 능력을 보이며, 예를 들어 AskMen와 AskWomen 간 전이 시 성능 저하가 최소한(예: 10% 이하 감소)에 그친다.
• 오직 속도 및 트리 기반 특징만을 사용한 모델(C-(TREE+RATE))가 텍스트 기반 모델보다 더 높은 커뮤니티 간 일반화 성능을 보이며, 이는 구조적 동적이 특징이 논란을 더 보편적으로 나타내는 신호임을 시사한다.
• 인기도 예측에 기반한 모델로도 논란 예측 모델의 성능을 따라잡지 못하며, 이는 논란과 인기도가 서로 다른 현상이며, 초기 신호도 다르다는 점을 입증한다.