[論文レビュー] The DSA Transparency Database: Auditing Self-reported Moderation Actions by Social Media

Amaury Trujillo, Tiziano Fagni+1 more|arXiv (Cornell University)|Dec 16, 2023

Hate Speech and Cyberbullying Detection被引用数 5

ひとこと要約

本論文は、DSA透明性データベースの最初の100日間を分析し、EUの主要な8つのソーシャルメディアプラットフォームが自己報告したモデレーション行動を監査した。その結果、著しい不整合性、不完全な報告、プラットフォームごとの差異が明らかになった。特にX（旧Twitter）において顕著であり、義務的なDSA準拠にもかかわらず、データの信頼性が損なわれている。

ABSTRACT

Since September 2023, the Digital Services Act (DSA) obliges large online platforms to submit detailed data on each moderation action they take within the European Union (EU) to the DSA Transparency Database. From its inception, this centralized database has sparked scholarly interest as an unprecedented and potentially unique trove of data on real-world online moderation. Here, we thoroughly analyze all 353.12M records submitted by the eight largest social media platforms in the EU during the first 100 days of the database. Specifically, we conduct a platform-wise comparative study of their: volume of moderation actions, grounds for decision, types of applied restrictions, types of moderated content, timeliness in undertaking and submitting moderation actions, and use of automation. Furthermore, we systematically cross-check the contents of the database with the platforms' own transparency reports. Our analyses reveal that (i) the platforms adhered only in part to the philosophy and structure of the database, (ii) the structure of the database is partially inadequate for the platforms' reporting needs, (iii) the platforms exhibited substantial differences in their moderation actions, (iv) a remarkable fraction of the database data is inconsistent, (v) the platform X (formerly Twitter) presents the most inconsistencies. Our findings have far-reaching implications for policymakers and scholars across diverse disciplines. They offer guidance for future regulations that cater to the reporting needs of online platforms in general, but also highlight opportunities to improve and refine the database itself.

研究の動機と目的

• 大手ソーシャルメディアプラットフォームがDSA透明性データベースに提出した自己報告のモデレーションデータの信頼性と完全性を評価すること。
• プラットフォームがDSA-TDBに報告したモデレーション行動と、それらが公開した公式の透明性レポートとの整合性と正確性を比較すること。
• DSA-TDBの構造が、多様なコンテンツおよびモデレーションダイナミクスを有するさまざまなプラットフォームの報告ニーズをどの程度満たしているかを評価すること。
• 学術的および政策的分析を妨げる、不整合性や欠落した詳細を含む、データ品質に関するシステム的問題を特定すること。
• 現在のDSA報告フレームワークにおける構造的・実装上の欠陥を浮き彫りにすることで、今後の規制設計およびデータベースの改善を支援すること。

提案手法

• DSA透明性データベースの最初の100日間に、8つのVLOPが提出した3億5,312万件の理由説明文（SoRs）を収集・分析した。
• 行動の量、意思決定の根拠、制限の種別、コンテンツタイプ、タイムリーネス、自動化の使用など、主な次元においてプラットフォームごとの比較分析を実施した。
• 各プラットフォームが公式に発表した透明性レポートとDSA-TDBの記録を照合し、不一致を特定した。
• データ構造および内容の内部妥当性をチェックし、欠落または矛盾するフィールドなどの不整合を同定した。
• アカウントレベルの行動およびコンテンツ固有の制限を包括的に報告できるかを評価することで、データベースの構造的適正性を検証した。
• 定量的および定性的な手法を用いて、データの完全性、一貫性、およびDSA要件との整合性を評価した。

実験結果

リサーチクエスチョン

• RQ1 大手ソーシャルメディアプラットフォームは、DSA透明性データベースの意図された構造と哲学をどの程度守っているか？
• RQ2 DSA-TDBに報告されたモデレーションデータは、プラットフォーム自身が発表した透明性レポートのデータとどの程度整合しているか？
• RQ3 分析対象の8つのプラットフォーム間で、制限の種別、コンテンツタイプ、自動化の使用など、モデレーション実務における主な差異は何か？
• RQ4 DSA-TDBにおけるデータの不整合性は、このデータセットに基づく学術的および政策的研究の信頼性にどのように影響を及ぼすか？
• RQ5 DSA-TDBに内在する構造的制限は、プラットフォームによるモデレーション行動の正確かつ包括的な報告をどの程度妨げているか？

主な発見

• プラットフォームは、DSA透明性データベースの哲学と構造を部分的にしか守っておらず、多くの場合、理由説明文に重要なオプション項目を省略していた。
• DSA-TDBの構造は、プラットフォームの報告ニーズに対して部分的に不適切であり、特にアカウントレベルのモデレーション行動を明示的にサポートしていない。
• 特にX（旧Twitter）からのデータを除き、データベース全体の顕著な一部が不整合であり、複数の次元で顕著な不一致が確認された。
• Xは、SoRデータと透明性レポートの間で不一致が最も多く、システム的なデータ品質の問題を示している。
• 義務的なDSA準拠にもかかわらず、自己報告であることに加え、広範な不整合性が生じており、研究および政策的利用におけるデータの信頼性に深刻な懸念が生じる。
• 本研究の結果から、より小規模でリソースが限られたプラットフォームは、正確な報告においてさらに大きな課題に直面する可能性があり、全体的なデータ品質の悪化が懸念される。