[논문 리뷰] Hybrid Approaches to Detect Comments Violating Macro Norms on Reddit

Eshwar Chandrasekharan, Éric Gilbert|arXiv (Cornell University)|2019. 04. 07.

Hate Speech and Cyberbullying Detection인용 수 10

한 줄 요약

이 논문은 분류, 토픽 모델링, 개방형 코드화를 활용하여 모더레이터에 의해 제거된 40,000개의 Reddit 댓글을 8개의 광범위하게 시행되는 거시적 규범—예를 들어 혐오 발언, 스팸, 자기 홍보—으로 식별하고 레이블링하는 하이브리드 방법을 제시한다. 주요 기여는 온라인 모더레이션을 위한 더 정교한 기계 학습 모델 개발을 가능하게 하는 200만 개 이상의 제거된 댓글과 세밀한 규범 위반 레이블을 포함한 공개된 데이터셋을 제공하는 것이다.

ABSTRACT

In this dataset paper, we present a three-stage process to collect Reddit comments that are removed comments by moderators of several subreddits, for violating subreddit rules and guidelines. Other than the fact that these comments were flagged by moderators for violating community norms, we do not have any other information regarding the nature of the violations. Through this procedure, we collect over 2M comments removed by moderators of 100 different Reddit communities, and publicly release the data. Working with this dataset of removed comments, we identify 8 macro norms---norms that are widely enforced on most parts of Reddit. We extract these macro norms by employing a hybrid approach---classification, topic modeling, and open-coding---on comments identified to be norm violations within at least 85 out of the 100 study subreddits. Finally, we label over 40K Reddit comments removed by moderators according to the specific type of macro norm being violated, and make this dataset publicly available. By breaking down a collection of removed comments into more granular types of macro norm violation, our dataset can be used to train more nuanced machine learning classifiers for online moderation.

연구 동기 및 목표

• 모더레이터에 의해 공동체 규범을 위반하여 제거된 Reddit 댓글의 대규모 데이터셋을 수집하고 공개하는 것.
• 분류, 토픽 모델링, 수동 코드화를 융합한 하이브리드 접근법을 통해 Reddit 서브레딧 간 광범위하게 시행되는 거시적 규범을 식별하는 것.
• 온라인 모더레이션을 위한 더 정교한 기계 학습 분류기 훈련을 지원하기 위해 40,000개 이상의 제거된 댓글을 특정 유형의 규범 위반으로 레이블링하는 것.
• 온라인 커뮤니티 내 규범 위반의 전반적 양상을 이해하기 위한 확장 가능한 계산 기반 프레임워크를 제공하는 것.
• 세부적이고 맥락 인식형 레이블링을 제공함으로써 향후 혼합 주도 모더레이션 도구에 대한 연구를 가능하게 하는 것.

제안 방법

• r/all에 게시된 모든 댓글을 캡처하기 위해 Reddit의 스트리밍 API를 사용한 3단계 데이터 수집 프로세스를 실시하였으며, 모더레이터 조치를 허용하기 위해 24시간 지연을 두었다.
• 각 서브레딧에서 제거된 댓글을 식별하기 위해 100개의 서브레딧 전용 이진 분류기를 훈련하여 평균 F1 스코어 71.4%를 달성하였다.
• 거시적 규범 위반 댓글에서 10개의 근본적 토픽을 추출하기 위해 토픽 모델링을 적용한 후, 개방형 코드화를 통해 각 토픽을 특정 거시적 규범에 할당하였다.
• 해당 토픽에 가장 적합한 댓글 기반으로 레이블링을 수행하였으며, 저신뢰도 할당으로 인한 노이즈를 줄이기 위해 각 토픽당 상위 5,000개의 댓글을 우선시하였다.
• 자동 분류, 비지도 토픽 모델링, 수동 검증을 융합한 하이브리드 파이프라인을 사용하여 레이블 신뢰도와 확장 가능성을 확보하였다.
• 연구 목적을 위해 공개 DOI를 통해 전체 데이터셋(200만 개의 제거된 댓글 및 40,000개의 레이블된 규범 위반)을 공개하였다.

실험 결과

연구 질문

• RQ1 Reddit 커뮤니티 전반에서 가장 광범위하게 시행되는 거시적 규범은 무엇이며, 어떻게 대규모로 체계적으로 식별할 수 있는가?
• RQ2 분류, 토픽 모델링, 개방형 코드화를 융합한 하이브리드 접근법을 활용해 대규모로 계산적으로 규범 위반을 레이블링할 수 있는가?
• RQ3 자동화된 레이블링이 인간 모더레이터가 의도한 실제 규범 위반을 어느 정도 반영할 수 있는가?
• RQ4 다양한 서브레딧 간에 식별된 거시적 규범은 위반 빈도와 유형 측면에서 어떻게 비교될 수 있는가?
• RQ5 온라인 커뮤니티에서 삭제된 콘텐츠에 자동화된 방법을 사용해 레이블링할 경우의 한계와 위험 요소는 무엇인가?

주요 결과

• 연구는 Reddit에서 혐오 발언, 자기 홍보, 스팸, 괴롭힘 등 8개의 광범위하게 시행되는 거시적 규범을 식별하였으며, 이는 다양한 서브레딧에서 일관되게 시행되고 있음을 확인하였다.
• 제거된 댓글을 식별하기 위해 사용된 서브레딧 분류기는 평균 10겹 교차 검증 F1 스코어 71.4%를 기록하여 대규모 데이터 수집에 있어 중간 수준이지만 수용 가능한 성능을 보였다.
• 토픽 모델링은 규범 위반 댓글의 차원을 감소시키는 데 성공했으며, 이후 개방형 코드화를 통해 10개의 근본적 토픽을 식별하고 거시적 규범에 할당하였다.
• 해당 토픽에 가장 적합한 상위 5,000개의 댓글을 선택하여 위반 레이블링의 신뢰도를 높이고 가짜 양성 결과를 최소화하였다.
• 최종 데이터셋은 200만 개 이상의 제거된 댓글과 40,000개의 특정 거시적 규범 위반으로 레이블된 댓글을 포함하며, 모두 연구 목적을 위해 공개되었다.
• 이 데이터셋은 온라인 모더레이션을 위한 더 정교한 기계 학습 모델 훈련을 가능하게 하여, 커뮤니티가 일반적인 2진 분류기 의존에서 벗어나 특정 유형의 위반을 정확히 타겟팅할 수 있도록 한다.