[論文レビュー] GRAIMATTER Green Paper: Recommendations for disclosure control of trained Machine Learning (ML) models from Trusted Research Environments (TREs)

Emily Jefferson, James Liley+17 more|arXiv (Cornell University)|Sep 21, 2022

Artificial Intelligence in Healthcare and Education被引用数 5

ひとこと要約

本論文は、信頼できる研究環境（TRE）から公開される訓練済み機械学習モデルの漏洩制御に関する包括的な推奨事項を提示しており、モデル出力およびメタデータを通じた機微なデータの推定というリスクに対処している。GRAIMATTERプロジェクトによって開発されたこのフレームワークは、医療や公共サービスなどデータ感受性の高い分野における責任あるAIモデル共有を可能にしつつ、プライバシー漏洩のリスクを低減するための実用的対策をTREに提示している。

ABSTRACT

TREs are widely, and increasingly used to support statistical analysis of sensitive data across a range of sectors (e.g., health, police, tax and education) as they enable secure and transparent research whilst protecting data confidentiality. There is an increasing desire from academia and industry to train AI models in TREs. The field of AI is developing quickly with applications including spotting human errors, streamlining processes, task automation and decision support. These complex AI models require more information to describe and reproduce, increasing the possibility that sensitive personal data can be inferred from such descriptions. TREs do not have mature processes and controls against these risks. This is a complex topic, and it is unreasonable to expect all TREs to be aware of all risks or that TRE researchers have addressed these risks in AI-specific training. GRAIMATTER has developed a draft set of usable recommendations for TREs to guard against the additional risks when disclosing trained AI models from TREs. The development of these recommendations has been funded by the GRAIMATTER UKRI DARE UK sprint research project. This version of our recommendations was published at the end of the project in September 2022. During the course of the project, we have identified many areas for future investigations to expand and test these recommendations in practice. Therefore, we expect that this document will evolve over time. The GRAIMATTER DARE UK sprint project has also developed a minimal viable product (MVP) as a suite of attack simulations that can be applied by TREs and can be accessed here (https://github.com/AI-SDC/AI-SDC). If you would like to provide feedback or would like to learn more, please contact Smarti Reel (<strong>[e-mail]</strong>) and Emily Jefferson (<strong>[e-mail]</strong>). The summary of our recommendations for a general public audience can be found at DOI: 10.5281/zenodo.7089514

研究の動機と目的

• 信頼できる研究環境（TRE）から公開される訓練済み機械学習モデルから、機微な個人データが推定されるリスクの増大に対処すること。
• AIモデル共有に適した、実用的で使いやすい漏洩制御措置をTREが実施できるよう推奨事項を開発すること。
• データ保護が求められる研究環境において、モデルの解釈可能性、メタデータ漏洩、モデル逆転攻撃に起因するプライバシー脅威を軽減すること。
• 医療、法執行、税務などの分野で、データ機密性を維持したまま、安全かつ透明なAI研究を支援すること。
• 信頼できるデータ環境におけるモデル漏洩制御の将来の研究および進化の基盤を構築すること。

提案手法

• 著者は、TREからモデルを公開する際のプライバシーリスクについて、モデル逆転、メンバー推定、モデル抽出攻撃に焦点を当てた多分野的分析を実施した。
• データのルートとモデルの複雑さに基づいて、モデル出力およびメタデータの感受性を評価するリスクベースのフレームワークを構築した。
• 情報漏洩を制限するための技術的対策として、モデル蒸留、出力のノイズ付加、アクセス制限が含まれる。
• コンプライアンスと透明性を確保するため、ガバナンスおよび監査メカニズムをフレームワークに統合した。
• プライバシー・バイ・デザインをモデル共有ワークフローに組み込むために、データ管理者、研究者、プライバシー担当者との協働を重視した。
• 推奨事項はステークホルダーのワークショップを通じて検証され、既存のデータ保護基準および規制と整合性を保った。

実験結果

リサーチクエスチョン

• RQ1 信頼できる研究環境（TRE）から公開される訓練済み機械学習モデルにおいて、具体的にどのようなプライバシーリスクが生じるか？
• RQ2 TREは、モデル出力またはメタデータから個人の再識別を防ぐために、どのように効果的な漏洩制御を実施できるか？
• RQ3 機微なデータ環境において、モデル逆転およびメンバー推定攻撃のリスクを低減するために、どのような技術的およびガバナンス的メカニズムを用いることができるか？
• RQ4 信頼できる研究環境において、どのようにしてプライバシー保護と科学的再現性の両立を実現できるか？
• RQ5 現在のTREにおけるAIモデル漏洩の取り扱いには、どのような主要なギャップがあり、それらはどのように是正できるか？

主な発見

• 本論文は、モデル訓練後でさえも、モデル出力、勾配、メタデータを通じて、TREから公開された訓練済みMLモデルが機微な個人データを意図せず露呈する可能性があると特定した。
• 特に、複雑なモデルが高次元の機微なデータで訓練された場合、モデル逆転およびメンバー推定攻撃が重大なリスクをもたらす。
• 提案された推奨事項には、出力のクリーニング、微分プライバシーの適用、アクセス制御ポリシーの導入が含まれ、漏洩リスクの低減に寄与する。
• フレームワークは、データ感受性とモデルの複雑さに応じた、リスクベースのアプローチによるモデル共有の重要性を強調している。
• 著者らは、現在のTREの実務においてAIモデル漏洩に対する成熟した対策が欠如しており、データ保護における深刻なギャップが生じていると指摘した。
• 推奨事項は、実世界でのテストと実装に基づく今後の洗練を想定して、適応可能で反復的な設計となっている。