[論文レビュー] A Survey of Privacy Attacks in Machine Learning

María Rigaki, Sebastián García|arXiv (Cornell University)|Jul 15, 2020

Adversarial Robustness in Machine Learning被引用数 48

ひとこと要約

機械学習におけるプライバシーと機密性攻撃の総合的な調査で、40本以上の論文（2014–2020）にわたり、一元化された分類法、脅威モデル、攻撃分析、防御を提供します。

ABSTRACT

As machine learning becomes more widely used, the need to study its implications in security and privacy becomes more urgent. Although the body of work in privacy has been steadily growing over the past few years, research on the privacy aspects of machine learning has received less focus than the security aspects. Our contribution in this research is an analysis of more than 40 papers related to privacy attacks against machine learning that have been published during the past seven years. We propose an attack taxonomy, together with a threat model that allows the categorization of different attacks based on the adversarial knowledge, and the assets under attack. An initial exploration of the causes of privacy leaks is presented, as well as a detailed analysis of the different attacks. Finally, we present an overview of the most commonly proposed defenses and a discussion of the open problems and future directions identified during our analysis.

研究の動機と目的

• 機械学習システムに対するプライバシーおよび機密性攻撃を統合・分類する。
• 攻撃を統一する脅威モデルと攻撃分類法を提案する。
• プライバシー漏洩の原因を特定し、防御メカニズムと未解決問題を要約する。

提案手法

• 2014–2020年に公表された機械学習プライバシー攻撃に関する40以上の論文をレビューし、体系化する。
• 敵対的知識・資産・攻撃面に基づく分類法を採用する。
• 中央集権型、連合学習、協同学習、分割学習設定の脅威モデルを定義する。
• 攻撃を会員推定、再構成、特性推定、モデル抽出に分類する。
• 漏洩の原因を論じ、防御アプローチと今後の方向性を要約する。

実験結果

リサーチクエスチョン

• RQ1 機械学習システムにおける主要なプライバシーおよび機密性攻撃の対象は何か？
• RQ2 訓練データやモデルパラメータに対する攻撃を、統一的な分類法の下でどのように分類・解釈できるか？
• RQ3 MLモデルにおけるプライバシー漏洩に自然に寄与する要因は何で、これらの attack に対する防御はどの程度有効か？
• RQ4 プライバシー攻撃に対する一般的な防御は何か、未解決の問題は何か？

主な発見

• 本調査はMLシステムに対するプライバシーおよび機密性攻撃の初の包括的な研究を提供する。
• プライバシー攻撃の統一的分類法が提案され、異なる学習パラダイムの脅威モデルとともに示される。
• プライバシー漏洩はモデル構築、一般化挙動、記憶化、訓練ダイナミクスから生じる；いくつかの要因が攻撃の成功に影響を与える。
• 会員推定、再構成、特性推定、およびモデル抽出は中心的な攻撃タイプで、敵対者の知識によって実現可能性が異なる。