[논문 리뷰] Content Removal as a Moderation Strategy: Compliance and Other Outcomes in the ChangeMyView Community

Kumar Bhargav Srinivasan, Cristian Danescu-Niculescu-Mizil외 2명|arXiv (Cornell University)|2019. 10. 21.

Social Media and Politics참고 문헌 42인용 수 33

한 줄 요약

이 논문은 CMV에서 중재자에 의해 삭제된 댓글이 작성자의 미래 행동에 인과적으로 변화를 가져오는지 여부를, 제거 효과를 게시 맥락과 구분하기 위해 지연 피드백과 중단된 시계열 설계를 사용해 조사한다.

ABSTRACT

Moderators of online communities often employ comment deletion as a tool. We ask here whether, beyond the positive effects of shielding a community from undesirable content, does comment removal actually cause the behavior of the comment's author to improve? We examine this question in a particularly well-moderated community, the ChangeMyView subreddit. The standard analytic approach of interrupted time-series analysis unfortunately cannot answer this question of causality because it fails to distinguish the effect of having made a non-compliant comment from the effect of being subjected to moderator removal of that comment. We therefore leverage a "delayed feedback" approach based on the observation that some users may remain active between the time when they posted the non-compliant comment and the time when that comment is deleted. Applying this approach to such users, we reveal the causal role of comment deletion in reducing immediate noncompliance rates, although we do not find evidence of it having a causal role in inducing other behavior improvements. Our work thus empirically demonstrates both the promise and some potential limits of content removal as a positive moderation strategy, and points to future directions for identifying causal effects from observational data.

연구 동기 및 목표

• CMV에서 영향받는 작성자들의 미래 행동이 개선되는지 여부를 평가한다.
• 관찰적 중재 데이터(지연 피드백 설계)에 적합한 인과 추론 방법을 개발한다.
• 콘텐츠 제거의 효과와 문제성 댓글 자체를 게시한 행위의 효과를 구분한다.

제안 방법

• 제거 전후의 행동을 비교하기 위해 간섭 시계열(ITS) 분석을 비영향 트리에서 적용한다.
• 문제성 댓글 게시 효과와 제거 효과를 분리하기 위해 지연 피드백(DF) 설계를 도입한다.
• 제거가 지연될 때 시간적으로 짝지어진 매칭-대조 접근을 사용해 시간적 혼란을 완화한다.
• 2013–2018에서 수집된 게시 트리, 삭제된 댓글, 그리고 중재자 메타데이터를 포함하는 대형 CMV 데이터셋에서 운영한다.
• 다섯 가지 행동 가설(비준수, 독성, 성취, 참여)을 테스트하기 위해 댓글 및 사용자 수준의 피처를 정의하고 계산한다.

실험 결과

연구 질문

• RQ1 CMV에 계속 참여하는 영향받은 개인의 이후 규칙 위반를 댓글 제거가 인과적으로 감소시키는가?
• RQ2 영향받은 개인의 이후 댓글에서 독성을 인과적으로 감소시키는가?
• RQ3 이후 기여의 성취도나 커뮤니티의 승인 여부를 인과적으로 개선하는가?
• RQ4 영향받은 개인의 이후 참여 수준에 인과적으로 영향을 미치는가?
• RQ5 관찰 데이터에서 지연 피드백 설계가 중재의 인과 효과를 시간적/맥락적 요인과 얼마나 잘 분리할 수 있는가?

주요 결과

• 댓글 삭제는 제거 후에도 활발히 남아 있는 사용자 하위 집합에서 즉각적인 비준수율을 인과적으로 감소시킨다(지연 피드백 설계를 통해).
• 중단된 시계열 분석은 일부 사전/사후 행동에 유의미한 변화를 보여주지만, 대부분의 결과에 대해 이는 제거의 인과 효과로 귀속될 수 없다.
• 제거가 근시적 비준수를 줄이는 것 이상의 다른 행동 개선에 대한 인과 역할의 증거를 제공하지 않는다.
• 참여를 계속하는 영향받은 개인은 종종 CMV를 더 높은 이탈률로 떠나 causal attribution를 복잡하게 한다.
• 지연 피드백 접근법은 일반적으로 콘텐츠 제거를 긍정적 중재로서 가능성을 지지하되, 더 폭넓은 행동 개선을 유도하는 데 한계를 부각한다.