[논문 리뷰] Metadata-Based Detection of Child Sexual Abuse Material

Mayana Pereira, Rahul Dodhia외 2명|arXiv (Cornell University)|2020. 10. 05.

Digital and Cyber Forensics인용 수 8

한 줄 요약

이 논문은 실제 CSAM 이미지에 대한 훈련이 필요 없도록 파일 경로를 사용하여 아동 성범죄 자료(CSAM)를 탐지하기 위한 메타데이터 기반 기계학습 프레임워크를 제안한다. 문자 수준의 합성곱 신경망(CNN)을 활용한 모델은 97%의 정확도와 94%의 재현율을 달성하며, 높은 신뢰도 임계값에서 가장 낮은 0.001의 가짜 양성 비율을 기록하여 악성 경로 수정에 대한 강건성과 개방형 데이터셋에서의 뛰어난 일반화 능력을 입증한다.

ABSTRACT

Child Sexual Abuse Media (CSAM) is any visual record of a sexually-explicit activity involving minors. CSAM impacts victims differently from the actual abuse because the distribution never ends, and images are permanent. Machine learning-based solutions can help law enforcement quickly identify CSAM and block digital distribution. However, collecting CSAM imagery to train machine learning models has many ethical and legal constraints, creating a barrier to research development. With such restrictions in place, the development of CSAM machine learning detection systems based on file metadata uncovers several opportunities. Metadata is not a record of a crime, and it does not have legal restrictions. Therefore, investing in detection systems based on metadata can increase the rate of discovery of CSAM and help thousands of victims. We propose a framework for training and evaluating deployment-ready machine learning models for CSAM identification. Our framework provides guidelines to evaluate CSAM detection models against intelligent adversaries and models' performance with open data. We apply the proposed framework to the problem of CSAM detection based on file paths. In our experiments, the best-performing model is based on convolutional neural networks and achieves an accuracy of 0.97. Our evaluation shows that the CNN model is robust against offenders actively trying to evade detection by evaluating the model against adversarially modified data. Experiments with open datasets confirm that the model generalizes well and is deployment-ready.

연구 동기 및 목표

• 실제 CSAM 콘텐츠에 대한 훈련으로 인한 법적 및 윤리적 제약을 피할 수 있는 구현 가능한 기계학습 프레임워크를 개발하는 것.
• 다양한 미디어 유형과 스토리지 시스템에 적용 가능한, 파일 경로를 포함한 파일 메타데이터만을 사용하여 CSAM 탐지를 가능하게 하는 것.
• 범죄자가 시도하는 실제 회피 전략을 시뮬레이션하기 위해 파일 경로에 대한 악성 수정에 대한 모델의 강건성을 평가하는 것.
• 실제 운영 환경에서의 실용적 구현을 지원하기 위해 분포 외부의 양성 데이터셋에서 낮은 가짜 양성 비율을 확보하는 것.
• 파일 경로, 검색어, 키워드와 같은 메타데이터를 기반으로 한 CSAM 탐지 모델의 훈련 및 평가를 위한 재사용 가능한 개방형 프레임워크를 제공하는 것.

제안 방법

• 모델의 입력으로 파일 경로의 문자 수준 표현을 사용하는 텍스트 분류 파이프라인을 활용한다.
• 주요 모델 아키텍처로 문자 수준의 합성곱 신경망(char-CNN)을 사용하여 파일 경로의 문자 시퀀스를 처리하고 CSAM와 관련된 패턴을 탐지한다.
• 훈련 파이프라인은 다양한 텍스트 표현 기법과 기계학습 방법을 포함하며, 모델 평가는 다양한 데이터 분포에서 수행된다.
• 악성 테스트는 공격자 회피 전략을 모방하는 수정된 파일 경로를 생성하여, 현실적인 공격 조건에서의 모델 내성 평가를 수행한다.
• 모델은 Common Crawl와 같은 개방형 실세계 데이터셋에서 평가되며, 샘플 외부의 양성 파일 경로를 사용해 일반화 능력과 가짜 양성 비율을 측정한다.
• 결정 임계값은 재현율과 가짜 양성 비율 간의 균형을 맞추기 위해 조정되며, 높은 임계값(예: 0.95) 설정으로 인해 리눅스 및 윈도우 파일 경로에서 모두 약 0.001 이하의 FPR을 달성한다.

실험 결과

연구 질문

• RQ1 파일 경로 메타데이터만으로 훈련된 기계학습 모델이 실제 CSAM 이미지 데이터 없이도 높은 정확도와 낮은 가짜 양성 비율로 CSAM를 탐지할 수 있는가?
• RQ2 범죄자가 회피를 시도하는 상황을 시뮬레이션하기 위해 파일 경로에 악성 수정이 가해졌을 때 모델의 강건성은 어떠한가?
• RQ3 실세계 웹 크롤링에서 유래한 분포 외부의 양성 파일 경로에 대해 모델의 일반화 능력은 어느 정도인가?
• RQ4 실제 운영 환경에서의 구현을 위해 어떤 신뢰도 임계값 설정이 재현율과 가짜 양성 비율 간 최적의 트레이드오프를 달성하는가?
• RQ5 제안된 프레임워크는 키워드 또는 검색어 분류와 같은 다른 메타데이터 기반 CSAM 탐지 작업에 재사용 및 적응이 가능한가?

주요 결과

• 가장 뛰어난 성능을 보인 모델인 문자 수준의 CNN은 CSAM 관련 파일 경로 탐지에서 97%의 정확도와 94%의 재현율을 달성한다.
• 신뢰도 임계값 0.95에서 샘플 외부의 양성 데이터셋에서 리눅스 및 윈도우 파일 경로 모두에서 가짜 양성 비율이 약 0.001로 낮아진다.
• 모델는 Common Crawl 데이터셋의 서로 다른 데이터 분포에서 낮은 가짜 양성 비율을 유지하며 강력한 일반화 능력을 보인다.
• 악성 테스트 결과, 파일 경로가 탐지를 피하기 위해 수정되어도 모델이 여전히 효과적으로 기능함을 확인하였다.
• 실제 CSAM 영상에 대한 접근이 필요 없이도 구현 가능한 CSAM 탐지가 가능해져 법적 및 윤리적 장벽을 줄였다.
• 시스템은 미디어에 관계없이 적용 가능하고 확장성이 있으며, 파일 경로 메타데이터만으로도 수천 개의 파일 스토리지 시스템을 신속하게 스캔할 수 있다.