[論文レビュー] Provable trade-offs between private & robust machine learning.

Jamie Hayes|arXiv (Cornell University)|Jun 8, 2020

Adversarial Robustness in Machine Learning参考文献 50被引用数 6

ひとこと要約

この論文は、標準モデルとロバストモデルの過学習の違いを分析することで、機械学習におけるプライバシーとロバスト性の間の証明可能なトレードオフを確立している。ロバストモデルは、十分な訓練データがある場合、過学習を軽減し、結果としてプライバシーのリスクを低減できることを示しており、ロバスト性が本質的にプライバシーを損なうという仮定に疑問を呈している。

ABSTRACT

Historically, machine learning methods have not been designed with security in mind. In turn, this has given rise to adversarial examples, carefully perturbed input samples aimed to mislead detection at test time, which have been applied to attack spam and malware classification, and more recently to attack image classification. Consequently, an abundance of research has been devoted to designing machine learning methods that are robust to adversarial examples. Unfortunately, there are desiderata besides robustness that a secure and safe machine learning model must satisfy, such as fairness and privacy. Recent work by Song et al. (2019) has shown, empirically, that there exists a trade-off between robust and private machine learning models. Models designed to be robust to adversarial examples often overfit on training data to a larger extent than standard (non-robust) models. If a dataset contains private information, then any statistical test that separates training and test data by observing a model's outputs can represent a privacy breach, and if a model overfits on training data, these statistical tests become easier. In this work, we identify settings where standard models will provably overfit to a larger extent in comparison to robust models, and as empirically observed in previous works, settings where the opposite behavior occurs. Thus, it is not necessarily the case that privacy must be sacrificed to achieve robustness. The degree of overfitting naturally depends on the amount of data available for training. We go on to formally characterize how the training set size factors into the privacy risks exposed by training a robust model. Finally, we empirically show our findings hold on image classification benchmark datasets, such as CIFAR-10.

研究の動機と目的

• ロバストな機械学習モデルが、過学習の増加によりデータプライバシーを本質的に損なうかどうかを調査すること。
• 訓練データサイズがロバストモデルにおけるプライバシーのリスクに与える影響を形式的に分析すること。
• ロバストモデルが標準モデルよりも過学習が少ない条件を同定し、従来の経験的観察に反するものとする。
• 機械学習システムにおける観察されたプライバシー-ロバスト性トレードオフの理論的裏付けを提供すること。
• CIFAR-10などのベンチマークデータセット上で理論的発見を経験的に検証すること。

提案手法

• 一般化境界を用いた、標準モデルとロバストモデルにおける一般化誤差と過学習の理論的分析。
• 訓練データサイズがロバストモデルにおける過学習度に与える影響の形式的特徴付け。
• ロバストモデルが標準モデルよりも過学習が少ない条件の導出。
• 統計的検定を用いて、モデル出力漏洩によるプライバシー侵害をモデル化し、過学習とプライバシーのリスクを結びつける。
• CIFAR-10における標準的およびロバストな訓練手法を用いた、過学習とプライバシー露出の比較による経験的評価。
• さまざまな訓練データサイズにおける一般化誤差とテスト精度の定量的比較。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下でロバストモデルが標準モデルよりも過学習が少なくなるか、その結果としてプライバシーのリスクが低下するか？
• RQ2 訓練データセットのサイズが、ロバストな機械学習モデルに関連するプライバシーのリスクにどのように影響するか？
• RQ3 モデルのロバスト性と過学習の間には、データプライバシーに影響を与える証明可能な関係があるか？
• RQ4 特定のデータ制約条件下では、ロバストモデルが標準モデルよりも優れたプライバシー特性を達成できるか？
• RQ5 経験的観察されたプライバシー-ロバスト性トレードオフが、理論的分析においてどの程度成立するか？

主な発見

• ロバストモデルは、特定のデータ制約下では標準モデルよりも過学習が少ないことがあり、ロバスト性が常にプライバシーのリスクを増加させるという仮定に反する。
• 十分な訓練データが利用可能な場合、ロバストモデルにおける過学習度は顕著に低減され、プライバシーへの露出が低下する。
• 訓練データサイズは、プライバシーのリスクを決定づける重要な要因である：大きなデータセットは過学習を軽減し、メンバー識別攻撃の実行可能性を低下させる。
• 理論的分析により、データが豊富な状況ではロバストモデルが標準モデルよりも優れた一般化性能を達成できることを確認した。
• CIFAR-10における経験的結果は理論的発見を裏付け、大規模な訓練データセット下でロバストモデルの過学習が減少していることを示している。
• モデルの過学習に起因するプライバシーのリスクは、本質的にロバスト性に結びついているわけではなく、データの可用性とモデル容量に依存する。