[논문 리뷰] Toxicity in the Decentralized Web and the Potential for Model Sharing

Haris Bin Zia, Aravindh. Raman외 5명|arXiv (Cornell University)|2022. 04. 27.

Advanced Malware Detection Techniques인용 수 8

한 줄 요약

이 논문은 탈중앙화된 웹(DW)에서 독성 콘텐츠 탐지에 적합한 탈중앙화된 모델 공유 시스템인 ModPair를 제안한다. 이는 Pleroma 인스턴스들이 사전 훈련된 모델을 공유함으로써 공동으로 모더레이션 성능을 햖을 수 있도록 한다. 990만 개의 투트를 포함한 데이터셋을 바탕으로, 저자들은 전체의 12.15%가 독성 콘텐츠이며, 이는 인스턴스 간 빠르게 확산됨을 확인했으며, ModPair는 인스턴스들이 모델을 공유하고 앙상블 투표를 통해 작동함으로써 매크로-F1 스코어 0.89를 달성하여 수동 모더레이션 부담을 크게 줄였다.

ABSTRACT

The "Decentralised Web" (DW) is an evolving concept, which encompasses technologies aimed at providing greater transparency and openness on the web. The DW relies on independent servers (aka instances) that mesh together in a peer-to-peer fashion to deliver a range of services (e.g. micro-blogs, image sharing, video streaming). However, toxic content moderation in this decentralised context is challenging. This is because there is no central entity that can define toxicity, nor a large central pool of data that can be used to build universal classifiers. It is therefore unsurprising that there have been several high-profile cases of the DW being misused to coordinate and disseminate harmful material. Using a dataset of 9.9M posts from 117K users on Pleroma (a popular DW microblogging service), we quantify the presence of toxic content. We find that toxic content is prevalent and spreads rapidly between instances. We show that automating per-instance content moderation is challenging due to the lack of sufficient training data available and the effort required in labelling. We therefore propose and evaluate ModPair, a model sharing system that effectively detects toxic content, gaining an average per-instance macro-F1 score 0.89.

연구 동기 및 목표

• Pleroma와 같은 탈중앙화된 소셜 플랫폼에서 독성 콘텐츠의 보편성과 확산 양상을 조사하기 위해.
• 제한된 데이터와 레이블링 노력으로 인한 개별 인스턴스의 자동 모더레이션 가능성을 평가하기 위해.
• 독립된 인스턴스들 간의 협업적 모델 공유를 통해 탈중앙화된 콘텐츠 모더레이션 문제를 해결하기 위해.
• 중앙 집중식 인프라 없이도 검출 정확도를 향상시킬 수 있는 확장성 있고 경량화된 시스템을 설계하고 평가하기 위해.

제안 방법

• 저자들은 3년 간 30개의 Pleroma 인스턴스에서 수집한 990만 개의 투트 데이터셋을 대규모로 수집하여 117,000명의 사용자를 포함한다.
• TF-IDF 특징을 기반으로 로지스틱 회귀를 사용해 각 인스턴스별 이진 분류기를 훈련하여 현지 모더레이션의 기준선을 설정한다.
• ModPair는 사전 훈련된 모델을 공유하고 앙상블 투표를 통해 연합 네트워크 내에서 검출 정확도를 향상시킨다.
• 시스템은 사전 샘플링을 통해 언어적 유사성이 높은 원격 인스턴스를 동적으로 선택하여 모델 공유 효율성을 최적화한다.
• 모델 공유는 데이터 泄漏를 방지하고 탈중앙화 원칙을 존중하는 경량 프로토콜을 통해 구현된다.
• 자원을 많이 소비하는 미세조정이나 추론을 피하기 위해 경량 모델과 협업 추론에 의존한다.

실험 결과

연구 질문

• RQ1 탈중앙화된 웹(DW)에서 독성 콘텐츠는 얼마나 보편적인가, 특히 Pleroma에서 어떻게 나타나는가?
• RQ2 독성 콘텐츠는 페두버스 연합 메커니즘을 통해 인스턴스 간 어떻게 확산되는가?
• RQ3 제한된 데이터와 레이블링 노력으로 개별 인스턴스가 효과적으로 자동 모더레이션 모델을 훈련시킬 수 있는가?
• RQ4 중앙 기관에 의존하지 않고 탈중앙화된 인스턴스들이 어떻게 독성 콘텐츠 탐지 성능을 향상시킬 수 있는가?

주요 결과

• 독성 콘텐츠는 DW에서 널리 퍼져 있으며, 데이터셋 전체의 12.15%가 독성으로 분류되었다.
• 독성 콘텐츠는 인스턴스 간 광범위하게 확산된다: 30개 인스턴스 중 26개가 연합을 통해 평균 최소 105,000개의 원격 독성 투트를 수신한다.
• 인스턴스들은 현지에서 생성하는 것보다 원격 소스에서 더 많은 독성 콘텐츠를 수신하여, 스케일에 맞는 수동 모더레이션은 비현실적이다.
• 개별 인스턴스의 모델은 중간 정도의 성능을 보이지만, 상당한 수의 수동 레이블링 노력이 필요하여 대부분의 관리자에게는 비현실적이다.
• ModPair는 협업적 모델 공유를 통해 검출 정확도를 향상시켜, 인스턴스 간 평균 매크로-F1 스코어 0.89를 달성했다.
• 언어적 유사성을 기반으로 한 사전 샘플링은 모델 공유 효율성과 검출 성능을 향상시켰다.