[論文レビュー] A Marauder's Map of Security and Privacy in Machine Learning

Nicolas Papernot|arXiv (Cornell University)|Nov 3, 2018

Adversarial Robustness in Machine Learning参考文献 29被引用数 11

ひとこと要約

この論文は、一般化やロバストネスといった基本的なML目的と整合性を持たせることで、機械学習システムのセキュリティとプライバシーを体系的に確保・プライバシー化するフレームワークを提案する。セキュリティとプライバシーの目的を、SaltzerとSchroederのセキュリティ原則に基づく形式的ポリシー、承認制御、監査メカニズムと統合し、差分プライバシーとコンSENSUSベースのラベル集約によるロバストラーニングの分野で主な進展を遂げた。

ABSTRACT

There is growing recognition that machine learning (ML) exposes new security and privacy vulnerabilities in software systems, yet the technical community's understanding of the nature and extent of these vulnerabilities remains limited but expanding. In this talk, we explore the threat model space of ML algorithms through the lens of Saltzer and Schroeder's principles for the design of secure computer systems. This characterization of the threat space prompts an investigation of current and future research directions. We structure our discussion around three of these directions, which we believe are likely to lead to significant progress. The first encompasses a spectrum of approaches to verification and admission control, which is a prerequisite to enable fail-safe defaults in machine learning systems. The second seeks to design mechanisms for assembling reliable records of compromise that would help understand the degree to which vulnerabilities are exploited by adversaries, as well as favor psychological acceptability of machine learning applications. The third pursues formal frameworks for security and privacy in machine learning, which we argue should strive to align machine learning goals such as generalization with security and privacy desiderata like robustness or privacy. Key insights resulting from these three directions pursued both in the ML and security communities are identified and the effectiveness of approaches are related to structural elements of ML algorithms and the data used to train them. We conclude by systematizing best practices in our community.

研究の動機と目的

• 基礎的なセキュリティ原則を用いて、機械学習のセキュリティとプライバシーの脅威環境を特定・体系化すること。
• MLシステムにおける形式的で機械が理解可能なセキュリティおよびプライバシーポリシーの欠如に対処すること。
• データプロバンセンスが弱いMLデプロイメントにおいて、承認制御と監査が保証性をどのように向上させられるかを検討すること。
• 一般化やロバストネスといったMLの目的を、セキュリティとプライバシー要件と整合させること。
• 視覚分野に特化した形式（例：ℓp-ノルム摂動）を越えて、ドメインに依存しない形式を提供する統一された形式的枠組みを提案すること。

提案手法

• SaltzerとSchroederのセキュリティ原則を、ML脅威モデルを分析するためのレンズとして採用すること。
• MLシステムにおけるフェイルセーフデフォルトを強制するための、検証および承認制御メカニズムのスケールを提案すること。
• 監査および心理的受容性の両面を満たすために、侵害の信頼性ある記録を構築するメカニズムを設計すること。
• 差分プライバシーによるプライバシーと一般化の両方を、MLモデルのロバストネスと統合する形式的フレームワークを導入すること。
• PATEにおけるコンセンサスベースのラベル集約を適用し、同時に精度向上とプライバシー予算の低減を達成すること。
• アルゴリズムおよびトレーニングデータの両方の性質としてセキュリティとプライバシーを再定式化し、ドメインに依存しない定義に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 MLシステムのセキュリティおよびプライバシーポリシーを、明確な意味論と機械可読性を持つように形式的に定式化する方法は何か？
• RQ2 承認制御および入出力検証は、データプロバンセンスが弱いMLシステムの保証性をどのように向上させられるか？
• RQ3 形式的フレームワークは、一般化やロバストネスといったMLのコアな目的と、セキュリティおよびプライバシーの保証をどのように統合できるか？
• RQ4 ロバストラーニング、プライベートラーニング、一般化の間には、MLモデルにおいてどのような関係があるか？
• RQ5 トレーニング時およびテスト時の攻撃者を統合的にモデル化することで、MLシステムのレジリエンス理解はどのように向上するか？

主な発見

• PATEにおけるコンセンサスベースのラベル集約により、1ラベルあたりのプライバシー予算を削減することで、モデルの精度とプライバシー両方が向上した。
• 教師モデル間での高いコンセンサスは、集約ラベルの正確性を高めるとともに、個々のモデルの投票に対する感受性を低くし、信頼性を向上させた。
• 差分プライバシーは、最悪ケースのプライバシー保証と平均ケースの一般化を一致させることで、モデルのパフォーマンスを損なわずにより強いプライバシーを実現可能にした。
• セキュリティおよびプライバシーポリシーは、人間の可読性と機械の実行可能性の両立を図る形で形式化されるべきであり、明確さと正しさを保証する。
• 画像固有の制約（例：ℓp-ノルム摂動）を越えて、ドメインに依存しないロバストネスの定式化が、極めて重要な必要性である。
• フェイルセーフデフォルトと監査メカニズムの統合は、MLアプリケーションにおける心理的受容性および信頼性を顕著に向上させた。