[논문 리뷰] Outside Looking In: Approaches to Content Moderation in End-to-End Encrypted Systems

Seny Kamara, Mallory Knodel외 5명|arXiv (Cornell University)|2022. 02. 09.

Internet Traffic Analysis and Secure E-voting인용 수 10

한 줄 요약

이 논문은 종단간 암호화(E2EE) 시스템에서의 콘텐츠 모니터링 기술적 접근법을 평가하며, 사용자 신고 및 메타데이터 분석이 사용자 프라이버시와 보안을 가장 잘 유지하는 것으로 결론을 내린다. 클라이언트 측 스캐닝 기법은 E2EE 보장을 약화시키지만, 사용자 신고와 메타데이터 분석은 암호화를 훼손하지 않으면서도 CSAM, 스팸, 위성 정보와 같은 악성 콘텐츠를 효과적으로 탐지할 수 있음을 발견한다.

ABSTRACT

In this paper, we assess existing technical proposals for content moderation in End-to-End Encryption (E2EE) services. First, we explain the various tools in the content moderation toolbox, how they are used, and the different phases of the moderation cycle, including detection of unwanted content. We then lay out a definition of encryption and E2EE, which includes privacy and security guarantees for end-users, before assessing current technical proposals for the detection of unwanted content in E2EE services against those guarantees. We find that technical approaches for user-reporting and meta-data analysis are the most likely to preserve privacy and security guarantees for end-users. Both provide effective tools that can detect significant amounts of different types of problematic content on E2EE services, including abusive and harassing messages, spam, mis- and disinformation, and CSAM, although more research is required to improve these tools and better measure their effectiveness. Conversely, we find that other techniques that purport to facilitate content detection in E2EE systems have the effect of undermining key security guarantees of E2EE systems.

연구 동기 및 목표

• 종단간 암호화(E2EE)의 프라이버시 및 보안 보장을 둘러싼 다양한 콘텐츠 모니터링 기술의 영향을 평가하는 것.
• 강력한 암호화 특성과 호환되는 E2EE 시스템 내 불량 콘텐츠 탐지 기술적 접근법을 식별하는 것.
• E2EE 환경에서 다양한 콘텐츠 모니터링 전략의 효과성과 프라이버시 간의 트레이드오프를 평가하는 것.
• 플랫폼 설계자와 정책 입안자들이 사용자 보안을 유지하면서도 모니터링을 가능하게 하는 해법을 도출하도록 안내하는 것.

제안 방법

• 콘텐츠 모니터링 도구를 모니터링 라이프사이클 단계(탐지, 심사, 조치)로 분류하는 것.
• E2EE의 정의 및 기밀성과 무결성과 같은 핵심 프라이버시 및 보안 보장을 정의하는 것.
• 클라이언트 측 스캐닝, 클라이언트 측 필터링, 암호 기법과 같은 제안된 기술적 해법을 E2EE 보안 특성과 대조 분석하는 것.
• 사용자 신고 및 메타데이터 분석이 종단간 보안을 유지하는 실질적인 대안으로서 타당한지 평가하는 것.
• CSAM, 스팸, 위성 정보와 같은 다양한 콘텐츠 유형을 탐지하는 데 각 기술의 실현 가능성과 한계를 평가하는 것.
• 위협 모델링을 활용하여 어떤 기술이 E2EE 보장을 약화시키는지, 또는 유지하는지 판단하는 것.

실험 결과

연구 질문

• RQ1 E2EE 시스템에서 어떤 콘텐츠 모니터링 기술이 종단간 암호화의 기밀성 및 무결성 보장을 유지하는가?
• RQ2 사용자 신고 및 메타데이터 분석은 E2EE 시스템에서 CSAM, 스팸, 위성 정보와 같은 악성 콘텐츠를 탐지하는 데 얼마나 효과적인가?
• RQ3 클라이언트 측 스캐닝 및 필터링 메커니즘은 E2EE의 보안 특성을 어느 정도 약화시키는가?
• RQ4 E2EE 환경에서 콘텐츠 모니터링을 위한 다양한 기술적 접근법의 프라이버시 및 보안 트레이드오프는 무엇인가?
• RQ5 암호화 모델을 훼손하지 않으면서도 확장 가능하고 프라이버시를 보존하는 모니터링이 가능할 수 있는가?

주요 결과

• 사용자 신고 및 메타데이터 분석은 종단간 보안 보장을 유지하므로, E2EE 시스템에서 콘텐츠 모니터링에 가장 실현 가능한 접근법이다.
• 클라이언트 측 스캐닝 및 필터링 기법은 기밀성과 무결성을 해칠 수 있는 복호화 지점을 도입함으로써 E2EE를 약화시킨다.
• 사용자 신고 및 메타데이터 분석은 아동 성폭행 자료(CSAM), 스팸, 위성 정보와 같은 다양한 문제 콘텐츠를 효과적으로 탐지할 수 있다.
• 사용자 신고 및 메타데이터 분석의 효과성은 운영적으로 유용할 정도로 높지만, 탐지 정확도 향상과 확장성 향상을 위해 추가 연구가 필요하다.
• 암호화를 깨지 않고도 E2EE에서 콘텐츠 탐지를 가능하게 한다고 주장하는 기술은 종종 핵심 보안 특성을 유지하지 못해 실질적으로는 안전하지 않다.
• 현재로서는 암호화 모델의 보안을 훼손하지 않으면서도 전체 콘텐츠 탐지를 가능하게 하는 기술적 해결책이 없으며, 이는 대안적 접근법의 필요성을 강화한다.