[논문 리뷰] TAR on Social Media: A Framework for Online Content Moderation

Eugene Yang, David Lewis외 1명|arXiv (Cornell University)|2021. 08. 29.

Hate Speech and Cyberbullying Detection참고 문헌 48인용 수 4

한 줄 요약

이 논문은 고정확도 법적 eDiscovery에서 개발된 기술 지원 검토(TAR) 워크플로우를 온라인 콘텐츠 모니터링에 적응시켜 적용함으로써, 관련성 피드백과 불확실성 샘플링을 활용한 액티브 러닝이 두 개의 공개 데이터셋에서 모니터링 비용을 20%에서 55%까지 감소시킨다는 것을 입증한다. 이 방법은 인간 검토를 위한 고가치 콘텐츠를 우선순위에 두어 노동 비용을 크게 줄이고, 정책 위반 콘텐츠의 고정확도를 유지한다.

ABSTRACT

Content moderation (removing or limiting the distribution of posts based on their contents) is one tool social networks use to fight problems such as harassment and disinformation. Manually screening all content is usually impractical given the scale of social media data, and the need for nuanced human interpretations makes fully automated approaches infeasible. We consider content moderation from the perspective of technology-assisted review (TAR): a human-in-the-loop active learning approach developed for high recall retrieval problems in civil litigation and other fields. We show how TAR workflows, and a TAR cost model, can be adapted to the content moderation problem. We then demonstrate on two publicly available content moderation data sets that a TAR workflow can reduce moderation costs by 20% to 55% across a variety of conditions.

연구 동기 및 목표

• 소셜 미디어 플랫폼에서 인간 중심의 콘텐츠 모니터링의 높은 비용과 확장성 문제를 해결하기 위해.
• 고정확도 법적 eDiscovery에서 사용된 기술 지원 검토(TAR) 워크플로우를 콘텐츠 모니터링 맥락에 적응시키기 위해.
• 랜덤 샘플링 또는 전면 수동 검토와 비교해 액티브 러닝 전략(예: 관련성 피드백 및 불확실성 샘플링)이 모니터링 비용을 줄이는지 평가하기 위해.
• 실제 모니터링 상황에서 다양한 콘텐츠 발생 빈도 수준과 배치 크기를 고려해 비용 절감 효과를 분석하기 위해.
• 법적 정보 검색 기술을 소셜 미디어 콘텐츠 모니터링으로 이식할 수 있는지 탐색하기 위해.

제안 방법

• eDiscovery에서 유래한 이중단계 및 단일단계 TAR 워크플로우를 콘텐츠 모니터링에 적응시키고, 인간이 참여하는 액티브 러닝을 활용한다.
• 관련성 피드백과 불확실성 샘플링을 사용해 인간 검토를 위한 문서를 우선순위에 두어 분류기 성능을 반복적으로 향상시킨다.
• 인간 검토 시간과 모델 훈련 비용을 균형 잡는 비용 모델을 적용해 워크플로우 효율성을 최적화한다.
• 공개된 데이터셋(위키백과 및 ASKfm)을 사용해 다양한 주제 발생 빈도와 배치 크기에서 TAR 성능을 평가한다.
• 각 주제당 20회의 복제 실행을 실시해 통계적 안정성을 확보하고, 반복 과정에서의 정밀도 및 비용 지표를 정밀하게 측정한다.
• 정밀도 추세를 히트맵으로 시각화해 모니터링자 경험과 분류기 품질의 시간적 변화를 평가한다.

실험 결과

연구 질문

• RQ1 법적 eDiscovery에서 유래한 TAR 워크플로우는 온라인 콘텐츠 모니터링 작업에 효과적으로 적응될 수 있는가?
• RQ2 랜덤 샘플링과 비교해 관련성 피드백과 불확실성 샘플링은 얼마나 많은 비용 절감 효과를 낼 수 있는가?
• RQ3 콘텐츠 발생 빈도(예: 희귀한 vs. 빈번한 독성 콘텐츠)가 TAR 기반 모니터링의 비용 절감 잠재력에 어떤 영향을 미치는가?
• RQ4 액티브 러닝에서 사용하는 배치 크기가 비용 효율성과 분류기 성능에 영향을 미치는가?
• RQ5 다양한 TAR 전략에서 반복 과정 동안 검토된 콘텐츠의 정밀도 변화는 어떻게 이루어지는가?

주요 결과

• 위키백과 및 ASKfm 데이터셋에서 다양한 조건 하에 TAR 워크플로우가 모니터링 비용을 20%에서 55%까지 감소시켰다.
• 관련성 피드백과 불확실성 샘플링은 랜덤 샘플링보다 유의미하게 뛰어나며, ASKfm에서는 5,000개의 훈련 문서 이후, 위키백과에서는 이후에 비용 절감 효과가 정점에 이르렀다.
• ASKfm에서 '저주어 배제'와 같은 희귀 카테고리의 경우, 불확실성 샘플링을 통해 8,002회 반복 후 최대 53.65%의 비용 절감 효과를 달성했다.
• 관련성 피드백은 정밀도를 높이고 안정적으로 유지했으며, 불확실성 샘플링은 배치 간 일관된 정밀도를 유지해 신뢰할 수 있는 분류기 향상 효과를 보였다.
• 랜덤으로 80%의 샘플을 검토하는 데 드는 비용은 위키백과 기준 92,590, ASKfm 기준 90,958로, 모든 TAR 기반 접근 방식보다 상당히 높았다.
• 큰 배치 크기는 재훈련 빈도를 낮춰 비용 절감 효과를 약간 감소시켰으며, 실무에서는 더 작은 배치 크기가 더 비용 효율적일 수 있음을 시사했다.