[論文レビュー] Outside Looking In: Approaches to Content Moderation in End-to-End Encrypted Systems

Seny Kamara, Mallory Knodel+5 more|arXiv (Cornell University)|Feb 9, 2022

Internet Traffic Analysis and Secure E-voting被引用数 10

ひとこと要約

この論文は、エンド・ツー・エンド暗号化（E2EE）システムにおけるコンテンツモデレーションの技術的アプローチを評価し、ユーザー報告とメタデータ分析が、ユーザーのプライバシーとセキュリティを最大限に保つ最良の方法であると結論づけている。クライアント側スキャン技術はE2EEの保証を損なうが、ユーザー報告とメタデータ分析は、暗号化を損なわずにCSAM、スパム、フェイクニュースなどの有害コンテンツを効果的に検出できることが判明した。

ABSTRACT

In this paper, we assess existing technical proposals for content moderation in End-to-End Encryption (E2EE) services. First, we explain the various tools in the content moderation toolbox, how they are used, and the different phases of the moderation cycle, including detection of unwanted content. We then lay out a definition of encryption and E2EE, which includes privacy and security guarantees for end-users, before assessing current technical proposals for the detection of unwanted content in E2EE services against those guarantees. We find that technical approaches for user-reporting and meta-data analysis are the most likely to preserve privacy and security guarantees for end-users. Both provide effective tools that can detect significant amounts of different types of problematic content on E2EE services, including abusive and harassing messages, spam, mis- and disinformation, and CSAM, although more research is required to improve these tools and better measure their effectiveness. Conversely, we find that other techniques that purport to facilitate content detection in E2EE systems have the effect of undermining key security guarantees of E2EE systems.

研究の動機と目的

• エンド・ツー・エンド暗号化（E2EE）のプライバシーおよびセキュリティ保証に及ぼすさまざまなコンテンツモデレーション技術の影響を評価すること。
• E2EEシステムにおける望ましくないコンテンツを検出する技術的アプローチのうち、強力な暗号化特性と整合性のあるものを同定すること。
• E2EE環境におけるさまざまなコンテンツモデレーション戦略の有効性とプライバシーのトレードオフを評価すること。
• プラットフォーム設計者および政策立案者に、ユーザーのセキュリティを維持しながらモデレーションを可能にするソリューションへ導くこと。

提案手法

• モデレーションライフサイクルの段階（検出、レビュー、対応）に応じてコンテンツモデレーションツールを分類すること。
• E2EEの定義と、機密性や整合性を含むそのコアなプライバシーおよびセキュリティ保証の説明。
• クライアント側スキャン、クライアント側フィルタリング、暗号技術などの提案された技術的解決策を、E2EEのセキュリティ特性と照らし合わせて分析すること。
• エンド・ツー・エンドのセキュリティを保つ代替手段として、ユーザー報告とメタデータ分析の有効性を評価すること。
• CSAM、スパム、フェイクニュースなどの多様なコンテンツタイプを検出する際の、各アプローチの実現可能性と制限要因を評価すること。
• 脅威モデルを用いて、どの技術的手法がE2EEの保証を弱めるか、あるいは保持するかを特定すること。

実験結果

リサーチクエスチョン

• RQ1 E2EEシステムにおけるどのコンテンツモデレーション技術が、エンド・ツー・エンド暗号化の機密性および整合性保証を維持するか？
• RQ2 ユーザー報告とメタデータ分析は、E2EEシステムにおいてCSAM、スパム、フェイクニュースなどの有害コンテンツをどの程度効果的に検出できるか？
• RQ3 クライアント側スキャンおよびフィルタリングメカニズムは、E2EEのセキュリティ特性をどの程度損なうか？
• RQ4 E2EEにおけるさまざまな技術的アプローチのコンテンツモデレーションにおけるプライバシーとセキュリティのトレードオフは何か？
• RQ5 暗号化を破らずに、スケーラブルでプライバシーを尊重するモデレーションは、E2EEのセキュリティモデルを損なわずに達成可能か？

主な発見

• ユーザー報告とメタデータ分析は、エンド・ツー・エンドのセキュリティ保証を維持するため、E2EEシステムにおけるコンテンツモデレーションにおいて最も実現可能性の高いアプローチである。
• クライアント側スキャンおよびフィルタリング技術は、機密性および整合性を損なう復号化ポイントを導入することで、E2EEを根本から損なう。
• ユーザー報告とメタデータ分析は、児童ポルノ（CSAM）、スパム、フェイクニュースを含む幅広い有害コンテンツを効果的に検出できる。
• ユーザー報告とメタデータ分析の有効性は、運用上実用的であるほど十分に高いが、検出精度とスケーラビリティの向上のためのさらなる研究が求められる。
• 暗号化を破らずにE2EEでコンテンツ検出を可能にするという主張をする技術的手法は、多くの場合、コアなセキュリティ特性を維持できず、実際には不安全である。
• 現在の技術的ソリューションでは、プライバシーやセキュリティの大きなトレードオフを伴わずに、E2EEで完全なコンテンツ検出を実現できるものは存在せず、代替アプローチの必要性が強化されている。