[논문 리뷰] Thoughts on child safety on commodity platforms

Ian Christopher Levy, Crispin Robinson|arXiv (Cornell University)|2022. 07. 19.

Cybercrime and Law Enforcement Studies인용 수 8

한 줄 요약

이 논문은 종단 간 암호화된 플랫폼에서 온라인 아동 성폭행을 탐지하기 위한 종합적인 프레임워크를 제안한다. 성폭행 유형을 분류하기 위해 '해로움 유형들(harm archetypes)'을 도입하고, 클라이언트 측 스캔, AI 기반 메타데이터 분석, 개인정보 보호 기반 모델과 같은 기술 솔루션의 세트를 평가함으로써 아동 안전과 사용자 프라이버시 사이의 균형을 도모한다. 연구는 계층적이고 증거 기반 접근 방식이 보안이나 프라이버시를 훼손하지 않으면서도 성폭행을 완화할 수 있음을 주장하며, 향후 정책 및 구현을 안내하기 위해 엄격하고 플랫폼별 평가 프레임워크가 필요하다고 촉구한다.

ABSTRACT

The explosion of global social media and online communication platforms has changed how we interact with each other and as a society, bringing with it new security and privacy challenges. Like all technologies, these platforms can be abused and they are routinely used to attempt to cause harm at scale. One of the most significant offence types that is enabled by these platforms is child sexual abuse - both scaling existing abuse and enabling entirely new types of online-only abuse where the impacts on the victim are equally catastrophic. Many platforms invest significantly in combating this crime, referring confirmed evidence of illegality to law enforcement. The introduction of end-to-end encryption and similar technologies breaks many of the mitigations in place today and this has led to a debate around the apparent dichotomy of good child safety and good general user privacy and security. This debate has concentrated on the problem of detecting offenders sharing known abuse imagery using a technique known as client side scanning. We will show that the real problem of online child sexual abuse is much more complex than offender image sharing, providing a new set of 'harm archetypes' to better group harms into categories that have similar technical characteristics and, as far as we are able, bring more clarity to the processes currently used by platforms and law enforcement in relation to child sexual abuse content and the real world impacts. We explore, at a high level, a variety of techniques that could be used as part of any potential solution and examine the benefits and disbenefits that may accrue in various use cases, and use a hypothetical service as an example of how various techniques could be brought together to provide both user privacy and security, while protecting child safety and enabling law enforcement action.

연구 동기 및 목표

• 상용 커뮤니케이션 플랫폼에서 증가하는 온라인 아동 성폭행 문제를 다루기 위해, 종단 간 암호화가 기존 탐지 메커니즘을 약화시키는 상황에서의 도전에 대응한다.
• 기존의 알려진 이미지 공유에 국한된 초점을 넘어, 공통된 기술적 특성과 행동적 특성을 기반으로 온라인 전용 및 현실 세계의 해로움을 포함한 전반적인 해로움을 분류하기 위해 '해로움 유형들(harm archetypes)'이라는 새로운 프레임워크를 제안한다.
• 클라이언트 측 스캔, AI 분석, 개인정보 보호 기반 모델과 같은 새로운 기술 솔루션의 이점과 단점들을 현실적인 플랫폼 환경 내에서 평가한다.
• 각 플랫폼 기반으로 안전 기술의 효용성, 프라이버시 및 보안 영향을 평가하기 위해 엄격하고 증거 기반의 평가 프레임워크를 도입할 것을 주장한다.
• 학계, 산업계, 경찰 기관, 정부 간에 아동 보호를 위해 일반 사용자 프라이버시와 보안을 훼손하지 않으면서 균형 잡힌, 정보 기반의 과학적 논의를 촉진한다.

제안 방법

• 공통된 기술적 및 행동적 특성을 기반으로 온라인 아동 성폭행을 분류하기 위해 '해로움 유형들(harm archetypes)'의 분류 체계를 도입함으로써, 보다 정교한 탐지 전략 수립을 가능하게 한다.
• 암호 기반 기법(예: 개인 집합 교차(PSI), 안전한 해싱)를 사용한 클라이언트 측 스캔을 제안하여, 플랫폼에 콘텐츠를暴露하지 않고도 알려진 아동 성폭행 자료를 탐지할 수 있도록 한다.
• 서버 측 AI 분석을 통해 메타데이터(예: 시간, 빈도, 기기 정보 등)를 분석하는 것을 평가함으로써, 개인정보 보호 기반의 대안을 제공하지만, 대부분의 해로움 유형에 대해 정확도가 제한됨.
• 암호화되거나 가림 처리된 데이터로 훈련된 기계학습 모델의 사용을 고려하며, 이는 역전환 공격의 위험이 있으며, 강건성과 사전 지식 보호를 위한 추가 연구가 필요함.
• 각 플랫폼의 위협 모델에 맞게 클라이언트 측 스캔, 메타데이터 분석, 행동 히وري스틱 기반 탐지 기법을 조합하여 계층적 방어 체계를 구축할 것을 권고한다.
• 실제 데이터(예: NCMEC 및 NCA 보고서)를 기준으로 삼아, 개인정보 보호를 유지하면서도 경찰 기관에 보고할 수 있도록 통합된 가상 서비스 아키텍처를 제안한다.

실험 결과

연구 질문

• RQ1 알려진 이미지 공유를 초월하여 온라인 아동 성폭행을 체계적으로 분류할 수 있는 방법은 무엇이며, 이를 통해 기술적 탐지 전략이 전체 해로움 범위와 더 잘 일치할 수 있는가?
• RQ2 사용자 프라이버시를 보호하면서 효과적인 성폭행 탐지를 확보하기 위해, 클라이언트 측 스캔, 메타데이터 분석, 모델 기반 탐지 간의 기술적 상충 요소는 무엇인가?
• RQ3 PSI나 암호화된 모델 추론과 같은 개인정보 보호 기술이 성폭행 내용을 복원할 수 있는 역전환 공격에 얼마나 견딜 수 있는가?
• RQ4 다양한 플랫폼 간에 일관성 있고 반복 가능하며 증거 기반의 방식으로 안전 기술의 효과성과 프라이버시 영향을 평가할 수 있는 방법은 무엇인가?
• RQ5 종단 간 암호화된 플랫폼에서 아동 안전을 유지하기 위해 계층적이고 하이브리드 탐지 시스템이 어떻게 작용할 수 있으며, 일반 사용자 보안을 훼손하지 않도록 할 수 있는가?

주요 결과

• 2021년 NCMEC에 접수된 신고 건수는 2,940만 건에 달했지만, NCA가 받은 102,842건의 보고 중 조사로 이어진 건은 20,038건에 불과하여, 보고와 결과 간의 연결 고리를 맺는 데 복잡성이 존재함을 시사한다.
• 2021년 영국에서 아동 성폭행 범죄로 약 6,500명이 체포되거나 자진 출석을 하였고, 8,700명 이상의 아동이 보호받았으며, 이는 현실 세계의 해로움 규모가 크다는 것을 보여준다.
• 클라이언트 측 스캔은 알려진 아동 성폭행 자료 탐지에 있어 가장 정확한 방법이지만, 암호 기반 기법을 통해 개인정보 우려를 완화해야 할 필요가 있음.
• 메타데이터 분석만으로는 대부분의 해로움 유형, 특히 새로운 또는 복제되지 않은 콘텐츠를 포함한 유형에 대해 정확한 탐지를 보장하지 못함.
• 민감한 데이터로 훈련된 기계학습 모델에 대한 역전환 공격 위험은 강건성과 사전 지식 보호 대책에 대한 추가 연구가 필요함.
• 클라이언트 측 스캔, 메타데이터 분석, 행동 히وري스틱 기반 탐지 기법을 조합한 다층적 방어 체계는 단일 기법보다 더 효과적이고 프라이버시를 존중하는 방식으로 작용할 수 있음.