[논문 리뷰] The DSA Transparency Database: Auditing Self-reported Moderation Actions by Social Media

Amaury Trujillo, Tiziano Fagni외 1명|arXiv (Cornell University)|2023. 12. 16.

Hate Speech and Cyberbullying Detection인용 수 5

한 줄 요약

이 논문은 DSA 투명성 데이터베이스 운영 100일 동안의 첫 번째 분석을 통해, 유럽연합 내 주요 8개 소셜미디어 플랫폼이 자발적으로 보고한 모더레이션 조치를 감시·분석한다. 그 결과, 상당한 일관성 부족, 보고 미비, 플랫폼 간 차이가 드러났으며, 특히 X(이전 티커트)에서 두드러진 문제로 인해 데이터 신뢰성이 훼손됨을 확인했다. 이는 의무적인 DSA 준수에도 불구하고 여전히 문제가 존재함을 시사한다.

ABSTRACT

Since September 2023, the Digital Services Act (DSA) obliges large online platforms to submit detailed data on each moderation action they take within the European Union (EU) to the DSA Transparency Database. From its inception, this centralized database has sparked scholarly interest as an unprecedented and potentially unique trove of data on real-world online moderation. Here, we thoroughly analyze all 353.12M records submitted by the eight largest social media platforms in the EU during the first 100 days of the database. Specifically, we conduct a platform-wise comparative study of their: volume of moderation actions, grounds for decision, types of applied restrictions, types of moderated content, timeliness in undertaking and submitting moderation actions, and use of automation. Furthermore, we systematically cross-check the contents of the database with the platforms' own transparency reports. Our analyses reveal that (i) the platforms adhered only in part to the philosophy and structure of the database, (ii) the structure of the database is partially inadequate for the platforms' reporting needs, (iii) the platforms exhibited substantial differences in their moderation actions, (iv) a remarkable fraction of the database data is inconsistent, (v) the platform X (formerly Twitter) presents the most inconsistencies. Our findings have far-reaching implications for policymakers and scholars across diverse disciplines. They offer guidance for future regulations that cater to the reporting needs of online platforms in general, but also highlight opportunities to improve and refine the database itself.

연구 동기 및 목표

• 대규모 소셜미디어 플랫폼이 DSA 투명성 데이터베이스에 제출한 자가 보고 모더레이션 데이터의 신뢰성과 완전성 평가
• 플랫폼이 DSA-TDB에 보고한 모더레이션 조치와 공식 투명성 보고서 간 일관성 및 정확성 비교
• 다양한 콘텐츠 및 모더레이션 동적을 가진 플랫폼의 다양한 보고 요구사항을 충족시키기 위해 DSA-TDB의 구조가 얼마나 적합한지 평가
• 학술적 및 정책 분석을 방해하는 데이터 품질의 체계적 문제, 예를 들어 일관성 부족 및 정보 누락 등을 규명
• 현재 DSA 보고 프레임워크의 구조적 및 구현적 결함을 드러내어 향후 규제 설계 및 데이터베이스 개선에 기여

제안 방법

• DSA 투명성 데이터베이스의 첫 100일 동안 여덟 개의 VLOP가 제출한 총 353,120,000건의 이유 서류(Statements of Reasons, SoRs)를 수집 및 분석
• 주요 차원에서 플랫폼 간 비교 분석 수행: 조치 수량, 결정 근거, 제한 유형, 콘텐츠 유형, 즉시성, 자동화 사용 여부
• 각 플랫폼이 공식적으로 발표한 투명성 보고서와 DSA-TDB 기록을 대조하여 이질성 탐지
• 내부 유효성 검사를 통해 데이터 구조 및 내용의 일관성 문제, 예를 들어 누락되거나 상충하는 필드 식별
• 계정 수준 조치 및 콘텐츠 기반 제한 조치의 포괄적 보고를 지원하는지 평가함으로써 데이터베이스의 구조적 적합성 평가
• 정량적 및 정성적 방법을 활용해 데이터 완전성, 일관성, DSA 요구사항 준수 여부 평가

실험 결과

연구 질문

• RQ1 대규모 소셜미디어 플랫폼은 DSA 투명성 데이터베이스의 의도된 구조와 정신에 얼마나 부합하는가?
• RQ2 DSA-TDB에 보고된 모더레이션 데이터는 플랫폼 자체의 투명성 보고서와 얼마나 일관한가?
• RQ3 분석된 여덟 플랫폼 간 주요 차이점은 무엇인가? 제한 유형, 콘텐츠 유형, 자동화 사용 등 모더레이션 관행의 격차
• RQ4 DSA-TDB의 데이터 일관성 문제로 인해 학술적 및 정책 연구의 신뢰성은 어떤 영향을 받는가?
• RQ5 DSA-TDB의 어떤 구조적 한계가 플랫폼이 모더레이션 조치를 정확하고 포괄적으로 보고하는 것을 방해하는가?

주요 결과

• 플랫폼들은 DSA 투명성 데이터베이스의 정신과 구조에 부분적으로만 부합했으며, 대부분의 경우 이유 서류에 중요한 선택적 정보를 누락
• DSA-TDB의 구조는 플랫폼의 보고 요구사항에 대해 부분적으로 부적합하며, 특히 계정 수준의 모더레이션 조치를 명시적으로 지원하지 않음
• 특히 X(이전 티커트)에서 기인한 데이터베이스 전체의 상당 부분이 일관성 부족함을 보이며, 여러 차원에서 뚜렷한 이질성 발견
• X는 SoR 데이터와 투명성 보고서 간 불일치 수가 가장 높아 체계적 데이터 품질 문제로 보임
• 의무적인 DSA 준수에도 불구하고 자가 보고 방식과 광범위한 일관성 문제로 인해 연구 및 정책 활용에 있어 데이터 신뢰성에 심각한 우려 제기됨
• 연구 결과에 따르면, 더 작은 규모이거나 자원이 부족한 플랫폼은 정확한 보고에 더 큰 어려움을 겪을 가능성이 있으며, 이는 전체적인 데이터 품질 악화로 이어질 수 있음