[論文レビュー] Machine Learning Models Disclosure from Trusted Research Environments (TRE), Challenges and Opportunities

Esma Mansouri-Benssassi, S.N. Rogers+3 more|arXiv (Cornell University)|Nov 10, 2021

Artificial Intelligence in Healthcare and Education被引用数 4

ひとこと要約

この論文は、感受性の高い健康データが処理される Trusted Research Environments (TREs) からの訓練済み機械学習モデルの安全な公開という重要な課題に取り組む。プライバシーのリスクとして、メンバーシップ推定攻撃やモデル逆転攻撃が同定され、それらに対する緩和戦略——差分プライバシー、モデル蒸留、セキュアなモデル共有プロトコル——が提案され、医療AIアプリケーションにおけるデータプライバシーを保持したまま、責任あるモデル公開を可能にする。

ABSTRACT

Artificial intelligence (AI) applications in healthcare and medicine have increased in recent years. To enable access to personal data, Trusted Research environments (TREs) provide safe and secure environments in which researchers can access sensitive personal data and develop Artificial Intelligence (AI) and Machine Learning models. However currently few TREs support the use of automated AI-based modelling using Machine Learning. Early attempts have been made in the literature to present and introduce privacy preserving machine learning from the design point of view [1]. However, there exists a gap in the practical decision-making guidance for TREs in handling models disclosure. Specifically, the use of machine learning creates a need to disclose new types of outputs from TREs, such as trained machine learning models. Although TREs have clear policies for the disclosure of statistical outputs, the extent to which trained models can leak personal training data once released is not well understood and guidelines do not exist within TREs for the safe disclosure of these models. In this paper we introduce the challenge of disclosing trained machine learning models from TREs. We first give an overview of machine learning models in general and describe some of their applications in healthcare and medicine. We define the main vulnerabilities of trained machine learning models in general. We also describe the main factors affecting the vulnerabilities of disclosing machine learning models. This paper also provides insights and analyses methods that could be introduced within TREs to mitigate the risk of privacy breaches when disclosing trained models.

研究の動機と目的

• 訓練済み機械学習モデルを Trusted Research Environments (TREs) から公開することに関連するプライバシーリスクを特定・分析すること。
• 訓練データに含まれる個人の再特定を引き起こす可能性がある機械学習モデルの脆弱性を検討すること。
• TRE がデータプライバシーを損なうことなく ML モデルを安全に公開できるよう、実用的なガイダンスと技術的緩和戦略を提供すること。
• 現在の TRE 政策には、モデル公開を扱う明確なフレームワークが欠如しているというギャップを埋めること。
• プライバシー保護型モデル共有メカニズムを確立することで、医療分野における AI の責任ある展開を支援すること。

提案手法

• プライバシー保護型機械学習に関する既存の文献を調査し、関連する脅威モデルと攻撃表面を同定すること。
• 訓練済みモデルの脆弱性を、メンバーシップ推定やモデル逆転攻撃を含め、主なリスクとして分類すること。
• 差分プライバシー、モデル蒸留、セキュアなモデル集約などの技術的対策を提案し、情報漏洩を低減すること。
• モデルアーキテクチャ、データの感受性、アクセス制御が、モデル公開リスクに与える影響を分析すること。
• プライバシーリスク評価に基づき、TRE がモデル公開を評価・承認するためのガバナンスおよび技術的ワークフローを提言すること。
• 脅威モデリングを TRE 政策フレームワークに統合し、モデル共有のプライバシーへの影響を評価すること。

実験結果

リサーチクエスチョン

• RQ1 TRE から訓練済み機械学習モデルを公開することに関連する主なプライバシー脅威は何か？
• RQ2 アーキテクチャ やハイパーパrameter といったモデル固有の要因が、データ漏洩リスクにどのように影響するか？
• RQ3 TRE におけるモデル公開時のプライバシー侵害リスクを効果的に低減するための技術的および政策的メカニズムは何か？
• RQ4 既存の TRE ガバナンスモデルは、セキュアなモデル共有プロトコルを統合するためにどのように適合可能か？
• RQ5 差分プライバシー や蒸留といった緩和手法を適用する際の、モデルの有用性とプライバシーのトレードオフは何か？

主な発見

• 訓練済み機械学習モデルは、メンバーシップ推定やモデル逆転攻撃を通じて、訓練データに関する感受性の高い情報を漏洩する可能性がある。
• プライバシー漏洩のリスクは、モデルの複雑さ、データの感受性、および補助情報の可用性に強く影響を受ける。
• 差分プライバシーとモデル蒸留は、下流タスクにおけるモデルの有用性を保持したまま、情報漏洩を効果的に低減する。
• フェデレーテッドラーニング や暗号化されたモデル転送などのセキュアなモデル共有プロトコルは、モデル公開中のプライバシーを強化できる。
• 現在の TRE 政策には、モデル公開を扱う標準化されたガイドラインが欠如しており、プライバシーガバナンスにおける深刻なギャップが生じている。
• 技術的対策と政策的制御を組み合わせたリスクベースのフレームワークは、医療AI分野における責任あるモデル共有に不可欠である。