[論文レビュー] Thoughts on child safety on commodity platforms

Ian Christopher Levy, Crispin Robinson|arXiv (Cornell University)|Jul 19, 2022

Cybercrime and Law Enforcement Studies被引用数 8

ひとこと要約

本論文は、エンドツーエンド暗号化プラットフォームにおけるオンラインでの児童性虐待の検出のための包括的フレームワークを提案する。『害悪の原型』（harm archetypes）を導入して虐待の種別を分類し、クライアント側スキャン、AI駆動のメタデータ分析、プライバシー保護型モデルといった技術的ソリューションのセットを評価することで、児童の安全とユーザーのプライバシーの両立を目指す。本論文は、レイヤードで根拠に基づいた手法が、セキュリティやプライバシーを損なわずに虐待を軽減可能であると主張し、今後の政策立案と実装を導くために、厳密でプラットフォーム別評価フレームワークの構築を提言する。

ABSTRACT

The explosion of global social media and online communication platforms has changed how we interact with each other and as a society, bringing with it new security and privacy challenges. Like all technologies, these platforms can be abused and they are routinely used to attempt to cause harm at scale. One of the most significant offence types that is enabled by these platforms is child sexual abuse - both scaling existing abuse and enabling entirely new types of online-only abuse where the impacts on the victim are equally catastrophic. Many platforms invest significantly in combating this crime, referring confirmed evidence of illegality to law enforcement. The introduction of end-to-end encryption and similar technologies breaks many of the mitigations in place today and this has led to a debate around the apparent dichotomy of good child safety and good general user privacy and security. This debate has concentrated on the problem of detecting offenders sharing known abuse imagery using a technique known as client side scanning. We will show that the real problem of online child sexual abuse is much more complex than offender image sharing, providing a new set of 'harm archetypes' to better group harms into categories that have similar technical characteristics and, as far as we are able, bring more clarity to the processes currently used by platforms and law enforcement in relation to child sexual abuse content and the real world impacts. We explore, at a high level, a variety of techniques that could be used as part of any potential solution and examine the benefits and disbenefits that may accrue in various use cases, and use a hypothetical service as an example of how various techniques could be brought together to provide both user privacy and security, while protecting child safety and enabling law enforcement action.

研究の動機と目的

• 商用通信プラットフォームにおけるオンライン児童性虐待の増加する課題に応えるため、特にエンドツーエンド暗号化が既存の検出メカニズムを弱体化させることを踏まえる。
• 既知の画像共有に限定された狭い視点を越え、オンライン特有および現実世界の害悪を網羅的に分類するための新しいフレームワーク『害悪の原型』（harm archetypes）を導入し、共通する技術的・行動的特徴に基づく分類を実現する。
• クライアント側スキャン、AI分析、プライバシー保護型モデルといった新たな技術的ソリューションの利点と欠点を、現実的なプラットフォーム環境の中で評価する。
• 各プラットフォームごとに、安全性技術の有効性、プライバシー、セキュリティへの影響を評価するための、厳密で根拠に基づいた評価フレームワークを提言する。
• 学術界、業界、警察当局、政府の間で、一般ユーザーのプライバシーやセキュリティを損なわず児童を保護する方法について、バランスの取れた、情報に基づいた、科学的な議論を促進する。

提案手法

• 共通する技術的・行動的特徴に基づき、オンライン児童性虐待をグループ化するための『害悪の原型』（harm archetypes）の分類法を導入し、より的確な検出戦略の実現を可能にする。
• プライベートセットインタセクション（PSI）やセキュアハッシュなどの暗号技術を用いたクライアント側スキャンを提案し、プラットフォームがコンテンツを露出させずに既知の児童性虐待物の検出を可能にする。
• サーバーサイドのAIによるメタデータ（例：時刻、頻度、デバイス情報）分析を、プライバシー保護型の代替手段として評価するが、大多数の害悪タイプでは精度が限定的である。
• 暗号化または変換済みデータ上で訓練された機械学習モデルの利用を検討し、逆転攻撃のリスクがあるため、耐性と緩和策に関するさらなる研究が求められる。
• 各プラットフォームの脅威モデルに適合した、クライアント側スキャン、メタデータ分析、行動ヒューリスティクスを組み合わせたレイヤード防御システムを組み合わせることを推奨する。
• 実世界のデータ（例：NCMECおよびNCAレポート）をベンチマークとして用い、プライバシーを維持しながら法執行部門への通報を可能にする仮想的なサービスアーキテクチャを提示する。

実験結果

リサーチクエスチョン

• RQ1 既知の画像共有を超えて、オンライン児童性虐待をどのように体系的に分類できるか。これにより、技術的検出が害悪の全範囲と整合するようになるか。
• RQ2 クライアント側スキャン、メタデータ分析、モデルベース検出の間で、ユーザーのプライバシーを保ちながら効果的な虐待検出を実現するための技術的妥当性は何か。
• RQ3 PSIや暗号化されたモデル推論といったプライバシー保護技術が、機密コンテンツを回復可能な逆転攻撃に対してどれほど安全に保てるか。
• RQ4 異なるプラットフォーム間で、安全性メカニズムの有効性とプライバシーへの影響を一貫性があり、再現可能で根拠に基づいた方法で評価するにはどうすればよいか。
• RQ5 レイヤードでハイブリッドな検出システムは、一般ユーザーのセキュリティを損なわず、エンドツーエンド暗号化プラットフォームにおける児童の安全を維持するために果たす役割は何か。

主な発見

• 2021年にはNCMECへの通報件数が2940万件に達したが、NCAが受け取った10万2842件の通報のうち、調査に至ったのは2万38件にとどまり、通報と結果とのつながりの複雑さが浮き彫りになった。
• 2021年にはイギリスで児童虐待関連の罪で6500人以上が逮捕または自発的出頭をし、8700人以上の児童が保護された。これは、現実世界における害悪の規模の大きさを示している。
• クライアント側スキャンは、既知の児童性虐待物の検出において、最も正確な方法であるが、暗号技術を用いた緩和策がなければ、重大なプライバシー懸念が生じる。
• メタデータのサーバーサイドAI分析だけでは、新規またはレプリカのないコンテンツを含む大多数の害悪タイプの正確な検出には不十分である。
• 機密データ上で訓練された機械学習モデルに対する逆転攻撃のリスクは、耐性と事前知識保護の研究がさらに必要であることを示している。
• クライアント側スキャン、メタデータ分析、行動ヒューリスティクスの組み合わせにより、単一の手法よりもより効果的かつプライバシーに配慮したレイヤード防御が実現可能である。