[論文レビュー] Contamination Attacks and Mitigation in Multi-Party Machine Learning

Jamie Hayes, Olga Ohrimenko|arXiv (Cornell University)|Jan 8, 2019

Adversarial Robustness in Machine Learning被引用数 36

ひとこと要約

この論文は中央集権型のマルチパーティ ML における contamination attacks を定義し、敵対的訓練がそれらに対して防御でき、モデルの有用性を維持しつつパーティのメンバーシップ推測リスクも低減することを示している。

ABSTRACT

Machine learning is data hungry; the more data a model has access to in training, the more likely it is to perform well at inference time. Distinct parties may want to combine their local data to gain the benefits of a model trained on a large corpus of data. We consider such a case: parties get access to the model trained on their joint data but do not see each others individual datasets. We show that one needs to be careful when using this multi-party model since a potentially malicious party can taint the model by providing contaminated data. We then show how adversarial training can defend against such attacks by preventing the model from learning trends specific to individual parties data, thereby also guaranteeing party-level membership privacy.

研究の動機と目的

• 汚染されたデータを通じて悪意ある当事者がマルチパーティモデルにどのように影響を与え得るかを理解する。
• 異なるデータモダリティを持つ実データセットを用いて contamination attacks を実証する。
• 有用性を維持しつつパーティ情報の漏洩を抑制する防御としての敵対的訓練を提案・評価する。
• 敵対的訓練がパーティのメンバーシップ推論リスクも軽減することを示す。

提案手法

• 中央集権型のマルチパーティ ML setting における contamination attack の手法と攻撃者予算を定義する。
• 3つのデータセット（Adult、Credit Card、News20）に対して、カテゴリデータとテキストデータの両方で攻撃を実証する。
• データセット全体でニューラルネットワークおよび CNN ベースのモデルを適用し、汚染と検証精度を測定する。
• 二次モデルがパーティ識別を推定しようとする敵対的訓練を提案し、パーティ固有情報からの回避を図る。
• 2つの敵対的訓練のバリアント（f' および f''）を評価し、汚染とプライバシー指標への影響を分析する。
• 性能を犠牲にすることなく、敵対的訓練がパーティレベルのプライバシーをもたらし、汚染を緩和するという理論的正当性を提供する。

実験結果

リサーチクエスチョン

• RQ1 中央集権型のマルチパーティ ML setting において、悪意のあるパーティは学習中に何まで影響を及ぼすことができるか？
• RQ2 ターゲットとされる属性/ラベルがどれであるかの知識なしに、汚染攻撃を検出または緩和できるか？
• RQ3 敵対的訓練は、モデルの精度を維持しつつ汚染を低減し、パーティレベルのプライバシーを提供するか？
• RQ4 敵対的訓練はパーティレベルのメンバーシップ推論攻撃も緩和できるか？

主な発見

• 汚染攻撃は汚染された属性と選択されたラベルの間に人工的な相関を作り出し、マルチパーティモデルに影響を与える。
• 敵対的訓練は汚染攻撃を緩和し、非敵対的訓練と比較して検証精度を維持または向上させることができる。
• 敵対的訓練は、攻撃者が複数のパーティを支配していても、汚染精度を局所モデルレベルにほぼ近づけて低減する。
• このアプローチは、モデル出力をパーティ識別子と独立させることでパーティレベルのプライバシーを提供する。
• 敵対的訓練はパーティレベルのメンバーシップ推論リスクも大幅に低減する。
• 異なる分布のデータは、敵対的訓練下で検証精度をわずかにしか低下させない。