[논문 리뷰] Detecting Harmful Content On Online Platforms: What Platforms Need Vs. Where Research Efforts Go

Arnav Arora, Preslav Nakov외 9명|arXiv (Cornell University)|2021. 02. 27.

Hate Speech and Cyberbullying Detection인용 수 5

한 줄 요약

이 논문은 온라인 플랫폼의 콘텐츠 모더레이션 필요성과 유해 콘텐츠 탐지 분야의 현재 연구 노력 간의 괴리점을 분석한다. 42개 플랫폼의 정책을 조사하고 arXiv 연구 결과와 비교함으로써, 예를 들어 위성정보나 정치적 선전은 집중적으로 연구되고 있으나, 플랫폼에서 높은 우선순위를 두고 있음에도 불구하고 아동 성범죄나 자살 위협과 같은 핵심 문제들은 연구 집중도가 훨씬 낮다는 심각한 불균형을 드러낸다.

ABSTRACT

The proliferation of harmful content on online platforms is a major societal problem, which comes in many different forms including hate speech, offensive language, bullying and harassment, misinformation, spam, violence, graphic content, sexual abuse, self harm, and many other. Online platforms seek to moderate such content to limit societal harm, to comply with legislation, and to create a more inclusive environment for their users. Researchers have developed different methods for automatically detecting harmful content, often focusing on specific sub-problems or on narrow communities, as what is considered harmful often depends on the platform and on the context. We argue that there is currently a dichotomy between what types of harmful content online platforms seek to curb, and what research efforts there are to automatically detect such content. We thus survey existing methods as well as content moderation policies by online platforms in this light and we suggest directions for future work.

연구 동기 및 목표

• 플랫폼이 모더레이션을 시도하는 유해 콘텐츠 유형과 자동 탐지 방법에 대한 연구 초점 간 괴리를 규명하는 것.
• 소셜 미디어, 게임, 지원 커뮤니티 등 다양한 분야에 속한 42개 온라인 플랫폼의 콘텐츠 모더레이션 정책을 분석하는 것.
• 각 유해 콘텐츠 유형을 모더레이션하는 플랫폼 수와 arXiv 논문 수를 비교하여, 다양한 유해 콘텐츠 유형에 대한 연구 집중도를 정량화하는 것.
• 플랫폼에서 높은 우선순위를 두고 있음에도 불구하고 충분한 학술적 관심을 받지 못하는, 연구가 부족한 유해 콘텐츠 유형을 강조하는 것.
• 실제 플랫폼의 필요성과 기술적 과제에 더 잘 부합하는 향후 연구 방향을 제안하는 것.

제안 방법

• 소셜 미디어, 마켓플레이스, 영상 플랫폼, 게임 커뮤니티 등 다양한 분야에 속한 42개 온라인 플랫폼의 커뮤니티 가이드라인을 체계적으로 수집하고 분석한 바.
• 플랫폼 정책에 기반해 유해 콘텐츠 유형을 분류하고, 표준화된 해로움 유형(예: 증오 발언, 자살 위협, 위성정보)에 매핑한 바.
• 각 유해 콘텐츠 유형별로 arXiv 논문 수(예인자 포함)를 수집하고 분석하여 연구-플랫폼 커버리지 비율을 계산한 바.
• 이용 약관 및 서비스 조건 조항의 关련 키워드 분석을 통해 플랫폼별 우선순위를 파악하고 연구 추세와 비교한 바.
• 데이터셋의 가용성과 구체성 평가를 수행하며, 민감한 콘텐츠 유형에 대해 대규모이면서도 개인정보 보호 기반의 데이터셋이 부족하다는 점을 기록한 바.
• 모델 일반화와 연구 재현 가능성에 장애가 되는 요인으로 다중모달 콘텐츠, 맥락 민감도, 정책 유연성 등의 과제를 식별한 바.

Figure 1: Number of policy topics covered by each platform per category.

실험 결과

연구 질문

• RQ1 현재 자동 유해 콘텐츠 탐지 분야의 연구 노력이 온라인 플랫폼의 실제 콘텐츠 모더레이션 우선순위와 어느 정도 일치하는가?
• RQ2 플랫폼 정책에서 높은 우선순위를 두고 있음에도 불구하고 연구가 부족한 유해 콘텐츠 유형은 무엇인가?
• RQ3 다양한 유해 콘텐츠 유형 간 연구 논문 수 대비 플랫폼 커버리지 비율은 어떻게 변동하는가?
• RQ4 콘텐츠 모더레이션 분야에서 플랫폼의 요구를 충족시키지 못하는 주요 기술적 및 데이터 기반 장애 요소는 무엇인가?
• RQ5 맥락적, 문화적, 다중모달적 요소는 실제 플랫폼 환경에서의 현재 탐지 모델의 실현 가능성에 어떻게 영향을 미치는가?

주요 결과

• 위성정보의 연구-플랫폼 커버리지 비율은 29.40으로 가장 높고, 정치적 선전의 비율은 19.00으로 연구 집중도가 높은 편이다.
• 플랫폼 안전에 매우 중요한 아동 성범죄(비율: 0.46)와 성적 유혹(비율: 0.20)은 플랫폼의 우선순위에 비해 연구 집중도가 극도로 낮다.
• 위험한 조직(비율: 4.90)과 폭력(비율: 6.38)의 비율이 가장 높아, 이 분야의 연구 활동이 플랫폼 커버리지보다 더 활발한 것으로 나타났다.
• 자살 위협(22개 플랫폼)과 괴롭힘/차별(37개 플랫폼)에 대해 높은 정책 커버리지를 보이는 플랫폼들 역시 각각 비율 4.64와 7.46로 상당한 연구 격차를 보이고 있다.
• 그림자 콘텐츠(비율: 1.93)와 인신매매(비율: 3.53)는 플랫폼의 모더레이션 우선순위에 비해 연구가 부족한 편이다.
• 연구가 부족한 주요 과제로는 다중모달 이해 부족, 맥락 민감도 부족, 고위험 콘텐츠 유형에 대한 실제 환경에서의 개인정보 보호 기반 데이터셋 접근성 부족 등이 식별되었다.

(a) number of platform T&Cs out of 42 mentioning each topic