[論文レビュー] Unlocking Accuracy and Fairness in Differentially Private Image Classification

Leonard Berrada, Soham De+7 more|arXiv (Cornell University)|Aug 21, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

この論文は、微調整された大規模な事前学習済み視覚モデルを、微分プライバシー付き確率的勾配降下法（DP-SGD）で学習させることで、医療画像ベンチマークを含む4つのデータセットにおいて、非プライベートの最先端モデルと比較して数パcent以内の精度を達成できることを示している。また、非プライベートモデルと比較して、性的別や年齢層などのデモグラフィックサブグループ間での性能格差が顕著に増加しないことから、公平性が維持されていることも示している。

ABSTRACT

Privacy-preserving machine learning aims to train models on private data without leaking sensitive information. Differential privacy (DP) is considered the gold standard framework for privacy-preserving training, as it provides formal privacy guarantees. However, compared to their non-private counterparts, models trained with DP often have significantly reduced accuracy. Private classifiers are also believed to exhibit larger performance disparities across subpopulations, raising fairness concerns. The poor performance of classifiers trained with DP has prevented the widespread adoption of privacy preserving machine learning in industry. Here we show that pre-trained foundation models fine-tuned with DP can achieve similar accuracy to non-private classifiers, even in the presence of significant distribution shifts between pre-training data and downstream tasks. We achieve private accuracies within a few percent of the non-private state of the art across four datasets, including two medical imaging benchmarks. Furthermore, our private medical classifiers do not exhibit larger performance disparities across demographic groups than non-private models. This milestone to make DP training a practical and reliable technology has the potential to widely enable machine learning practitioners to train safely on sensitive datasets while protecting individuals' privacy.

研究の動機と目的

• プライバシー保護型機械学習の実用化を妨げる主な障壁である、微分プライバシー（DP）モデルと非プライベートモデルとの間の顕著な精度の低下を解消すること。
• 特に医療などの感受性の高い応用分野において、DP学習がサブグループ間の性能格差を悪化させるかどうかを調査すること。
• 基礎モデルをDP-SGDで微調整することで、高い精度と公平性を同時に達成できることを示すこと、特に分布シフトの下でも有効であることを確認すること。
• DP学習が本質的に公平性を悪化させるわけではないという実証的証拠を提供し、プライバシーと公平性のトレードオフという仮定に疑問を呈すること。

提案手法

• ノイズスケールとクリッピングを慎重に調整したDP-SGDを用いて、大規模な事前学習済み視覚モデル（例：ViT、ResNet）を、下流の画像分類タスクで微調整する。
• 2段階の訓練プロトコルを適用する：まず、大規模な一般データセット（例：ImageNet-1K）で事前学習を行い、次に、下流のデータセット（例：CIFAR-10、CheXpert、MIMIC-CXR）でDP制約下で微調整する。
• 勾配クリッピングと追加のガウスノイズを用いた経験的リスク最小化により微分プライバシーを強制し、モーメント会計法を用いてプライバシー会計を実施する。
• AUC格差指標を用いて、性別や年齢層などのデモグラフィックサブグループ間での性能を評価し、公平性を測定する。
• プライバシー予算ε（例：ε = 1, 4, 8）を系統的に変化させ、精度およびクラスごとの性能順序への影響を調査する。
• データの不均衡に起因する影響を分離するために、特定のクラス（例：CIFAR-10における車）をアンダーサンプリングするなど、アンバランスの影響をアブレーションスタディで評価する。

実験結果

リサーチクエスチョン

• RQ1 基礎モデルの微分プライバシー付き微調整は、医療画像を含む画像分類タスクにおいて、非プライベートの最先端モデルと比較して高い精度を達成できるか？
• RQ2 微分プライバシー学習は、非プライベートモデルと比較して、デモグラフィックサブグループ間の性能格差を悪化させるか？
• RQ3 プライバシー予算εが異なる場合、クラスごとの相対的な難易度はどのように変化するか？また、これは公平性指標に影響を与えるか？
• RQ4 データの不均衡は、DP学習とどのように相互作用し、プライベートモデルの公平性結果に影響を与えるか？
• RQ5 視覚モデルのアーキテクチャ的および訓練的選択によって、プライバシーと公平性のトレードオフを緩和できるか？

主な発見

• DP-SGDで微調整されたプライベートモデルは、医療画像ベンチマーク（CheXpertおよびMIMIC-CXRを含む）を含む4つのデータセットにおいて、非プライベートの最先端モデルと比較して2–4%以内のテスト精度を達成している。
• 医療画像タスクにおける最も精度の高いプライベートモデルは、性別や年齢層などのデモグラフィックグループ間でAUC格差が非プライベートモデルと同等であり、公平性の著しい低下がないことが示された。
• ε = 8のとき、プライベートモデルは、事前学習データと下流データの間で顕著な分布シフトが生じても、非プライベートモデルと比較して数パーセント以内の全体精度を達成している。
• DP-SGDにおけるクラスごとの精度順位はεに対して単調ではない：例えば、ε ≤ 4ではキジが最も成績が悪いが、ε ≥ 4ではイヌがさらに悪くなるなど、プライバシー水準に応じて相対的な例の難易度が変化している。
• 極度に不均衡な状況（例：CIFAR-10における車クラスが10%未満にまで減少）では、プライベートモデルは未代表化クラスで性能が悪化するが、これはDP-SGDに内在するものではなく、不均衡の度合いに依存する。
• 未代表化クラスにおけるプライベートモデルと非プライベートモデルの差は、常に悪化するわけではない。中程度の不均衡（25–50%）の状況では、同じ全体精度を達成する条件下で、プライベートモデルも非プライベートモデルと同等のクラスごとの精度を達成している。