[論文レビュー] Quantifying and Mitigating Privacy Risks of Contrastive Learning

Xinlei He, Yang Zhang|arXiv (Cornell University)|Feb 8, 2021

Privacy-Preserving Technologies in Data参考文献 69被引用数 6

ひとこと要約

本論文は、対照的学習におけるプライバシー分析の初の試みを提示し、対照的モデルは過学習が抑えられるためメンバーシップ推定攻撃に対して脆弱性が低い一方で、表現力の高い特徴表現のため、感覚的属性推定攻撃に対しては著しく脆弱であることが明らかになった。これを緩和するために、著者らはTalosを提案する。Talosは敵対的訓練を用いて感覚的属性の漏洩を抑制するプライバシー保護型対照的学習フレームワークであり、モデルの有用性やメンバーシッププライバシーを損なうことなく、属性推定リスクを効果的に低減する。

ABSTRACT

Data is the key factor to drive the development of machine learning (ML) during the past decade. However, high-quality data, in particular labeled data, is often hard and expensive to collect. To leverage large-scale unlabeled data, self-supervised learning, represented by contrastive learning, is introduced. The objective of contrastive learning is to map different views derived from a training sample (e.g., through data augmentation) closer in their representation space, while different views derived from different samples more distant. In this way, a contrastive model learns to generate informative representations for data samples, which are then used to perform downstream ML tasks. Recent research has shown that machine learning models are vulnerable to various privacy attacks. However, most of the current efforts concentrate on models trained with supervised learning. Meanwhile, data samples' informative representations learned with contrastive learning may cause severe privacy risks as well. In this paper, we perform the first privacy analysis of contrastive learning through the lens of membership inference and attribute inference. Our experimental results show that contrastive models trained on image datasets are less vulnerable to membership inference attacks but more vulnerable to attribute inference attacks compared to supervised models. The former is due to the fact that contrastive models are less prone to overfitting, while the latter is caused by contrastive models' capability of representing data samples expressively. To remedy this situation, we propose the first privacy-preserving contrastive learning mechanism, Talos, relying on adversarial training. Empirical results show that Talos can successfully mitigate attribute inference risks for contrastive models while maintaining their membership privacy and model utility.

研究の動機と目的

• 対照的学習モデルにおけるプライバシーリスクを定量化すること、特にメンバーシップ推定攻撃および属性推定攻撃に関するもの。
• 教師ありモデルと比較して過学習が低いにもかかわらず、対照的モデルがなぜ感覚的情報を漏洩する可能性があるかを調査すること。
• 属性推定リスクを低減しつつ、モデルの有用性およびメンバーシッププライバシーを維持する、新しいプライバシー保護メカニズムの開発。
• 実際の攻撃シナリオ下で、標準的な画像データセット上での提案手法の有効性を評価すること。

提案手法

• 既存のメンバーシップ推定攻撃および属性推定攻撃手法（ニューラルネットワークベース、メトリクスベース、ラベルのみの攻撃）を、対照的モデルに適用可能にするように適応する。
• 表現学習中に感覚的属性の学習を抑制するために、対照的学習パイプラインに敵対的分類器を導入する。
• 敵対的訓練を用いて、分類器が感覚的属性を推定しようとするのを防ぐように、エンコーダーと敵対的分類器を同時に最適化する。この際、分類器は感覚的属性を推定することを試みるが、エンコーダーはその能力を最小化するように最適化される。
• データオーグメンテーションを用いて、対照的学習のためのポジティブおよびネガティブなビューを生成する。メモリ効率を確保するため、標準的なSimCLRフレームワークにMoCoスタイルのキューを適用する。
• プライバシー保護メカニズム（Talos）を事前学習段階で適用し、表現が感覚的属性をエンコードしないようにする。
• 攻撃精度、下流タスクでのモデル性能、メンバーシップ推定成功確率を用いて、プライバシーと有用性のトレードオフを評価する。

実験結果

リサーチクエスチョン

• RQ1 対照的モデルは教師ありモデルと比較して、メンバーシップ推定攻撃に対してどの程度脆弱であるか？
• RQ2 過学習が低いにもかかわらず、対照的モデルはなぜ属性推定攻撃に対してより脆弱であるのか？
• RQ3 敵対的訓練は、対照的表現における感覚的属性漏洩を効果的に抑制できるか？
• RQ4 提案されたプライバシー保護メカニズムは、モデルの有用性およびメンバーシッププライバシーをどの程度維持できるか？
• RQ5 このプライバシー緩和アプローチは、異なる画像データセットおよびアーキテクチャに一般化可能か？

主な発見

• ResNet-50を用いたSTL10では、対照的モデルのメンバーシップ推定攻撃精度が0.620にとどまる一方で、対応する教師ありモデルでは0.810に達する。
• UTKFaceデータセットでは、ResNet-18を用いた対照的モデルの属性推定攻撃精度が0.701に達するが、教師ありモデルではわずか0.422にとどまる。
• 属性推定攻撃への脆弱性の増加は、対照的表現が洗練されており、入力サンプルの詳細な情報を保持していることに起因する。
• Talosは、属性推定攻撃精度をベースライン水準にまで低下させるが、同時に下流分類タスクでの高い性能を維持する。
• Talosはメンバーシッププライバシーを保持しており、標準的な対照的学習と比較してメンバーシップ推定成功確率に顕著な増加は見られない。
• 本手法は異なるアーキテクチャおよびデータセットに対して堅牢であることが確認され、対照的学習におけるプライバシー保護ソリューションとしての一般化可能性を示している。