[論文レビュー] Metadata-Based Detection of Child Sexual Abuse Material

Mayana Pereira, Rahul Dodhia+2 more|arXiv (Cornell University)|Oct 5, 2020

Digital and Cyber Forensics被引用数 8

ひとこと要約

本論文では、実際のCSAM画像の学習を回避するため、ファイルパスを用いたメタデータベースの機械学習フレームワークを提案している。文字レベルの畳み込みニューラルネットワーク（CNN）を活用し、97%の精度と94%の再現率を達成。高い信頼度の閾値で偽陽性率は0.001にまで低下し、攻撃的パス変更に対しても強靱で、オープンデータセットにおける一般化性能も優れている。

ABSTRACT

Child Sexual Abuse Media (CSAM) is any visual record of a sexually-explicit activity involving minors. CSAM impacts victims differently from the actual abuse because the distribution never ends, and images are permanent. Machine learning-based solutions can help law enforcement quickly identify CSAM and block digital distribution. However, collecting CSAM imagery to train machine learning models has many ethical and legal constraints, creating a barrier to research development. With such restrictions in place, the development of CSAM machine learning detection systems based on file metadata uncovers several opportunities. Metadata is not a record of a crime, and it does not have legal restrictions. Therefore, investing in detection systems based on metadata can increase the rate of discovery of CSAM and help thousands of victims. We propose a framework for training and evaluating deployment-ready machine learning models for CSAM identification. Our framework provides guidelines to evaluate CSAM detection models against intelligent adversaries and models' performance with open data. We apply the proposed framework to the problem of CSAM detection based on file paths. In our experiments, the best-performing model is based on convolutional neural networks and achieves an accuracy of 0.97. Our evaluation shows that the CNN model is robust against offenders actively trying to evade detection by evaluating the model against adversarially modified data. Experiments with open datasets confirm that the model generalizes well and is deployment-ready.

研究の動機と目的

• 実際のCSAMコンテンツを学習データに用いる法的・倫理的制約を回避する、実装可能な機械学習フレームワークの開発。
• メディアタイプやストレージシステムに依存しない、ファイルメタデータ（特にファイルパス）のみを用いたCSAM検出の実現。
• 犯罪者が回避を試みる状況を模倣する、ファイルパスの攻撃的変更に対するモデルの耐性を評価。
• 生産環境での実装を支援するため、分布外の健全なデータセットにおける偽陽性率の低さを確保。
• ファイルパス、検索キーワード、キーワードなどのメタデータを用いたCSAM検出モデルの学習・評価に再利用可能なオープンフレームワークの提供。

提案手法

• ファイルパスの文字レベル表現を入力として、テキスト分類パイプラインを採用した機械学習モデルの構築。
• 主なモデルアーキテクチャとして、ファイルパス内の文字列のシーケンスを処理し、CSAM関連のパターンを検出する文字レベルCNN（char-CNN）を採用。
• 複数のテキスト表現技術と機械学習手法を組み合わせた学習パイプラインを構築。モデル評価は多様なデータ分布を用いて実施。
• 攻撃的テストとして、回避を模倣するように変更されたファイルパスを生成し、現実の攻撃状況下でのモデルの耐性を評価。
• Common Crawlなどのオープンで現実世界のデータセットを用い、サンプル外の健全なファイルパスを用いて一般化性能と偽陽性率を測定。
• 再現率と偽陽性率のバランスを最適化するため、意思決定の閾値を調整。特に0.95などの高い閾値設定により、LinuxおよびWindowsのファイルパスで偽陽性率が0.001未満に低下。

実験結果

リサーチクエスチョン

• RQ1 ファイルパスメタデータのみで学習した機械学習モデルは、CSAM画像データを一切使用せず、高い精度と低い偽陽性率でCSAMを検出可能か？
• RQ2 犯罪者が回避を試みる状況を模倣する、ファイルパスの攻撃的変更に対して、モデルはどの程度耐性を示すか？
• RQ3 実世界のウェブクロールから得た分布外の健全なファイルパスに対して、モデルの一般化性能はどの程度高いか？
• RQ4 生産環境でのデプロイにおいて、再現率と偽陽性率の最適なトレードオフを達成する信頼度の閾値設定は何か？
• RQ5 提案されたフレームワークは、キーワードや検索キーワード分類といった、他のメタデータベースのCSAM検出タスクに対しても再利用可能で柔軟に適応可能か？

主な発見

• 最も優れた性能を示したモデル、すなわち文字レベルCNNは、CSAM関連のファイルパス検出において97%の精度と94%の再現率を達成。
• 信頼度閾値0.95で、サンプル外の健全なデータセットにおけるLinuxおよびWindowsのファイルパスで偽陽性率が約0.001に低下。
• モデルは優れた一般化性能を示し、Common Crawlデータセットからの異なるデータ分布に対しても、偽陽性率を低く維持。
• 攻撃的テストにより、モデルの耐性が確認され、攻撃的パス変更に対しても効果的に機能することが判明。
• 実際のCSAM画像へのアクセスを必要としないため、法的・倫理的障壁を低減し、実装可能なCSAM検出が可能。
• システムはメディアに依存せず、スケーラブルであり、ファイルパスメタデータのみを用いて、数千のファイルストレージシステムを素早くスキャン可能。