[論文レビュー] PrivFair: a Library for Privacy-Preserving Fairness Auditing

Sikha Pentyala, David Melanson+2 more|arXiv (Cornell University)|Feb 8, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

PrivFair は、秘密分散計算（MPC）を用いて機械学習モデルのプライバシー保護型公平性監査を可能にする画期的なライブラリである。モデル所有者と監査機関は、機密性の高いモデルパラメータや監査データを明示しないまま、デモグラフィックパラティーションや同等機会といった公平性メトリクスを評価できる。本システムは 2PC および 3PC の脅威モデルをサポートし、表計算データおよび画像データの両方で機密性を保ちつつ、正確性とスケーラビリティを維持する。

ABSTRACT

Machine learning (ML) has become prominent in applications that directly affect people's quality of life, including in healthcare, justice, and finance. ML models have been found to exhibit discrimination based on sensitive attributes such as gender, race, or disability. Assessing if an ML model is free of bias remains challenging to date, and by definition has to be done with sensitive user characteristics that are subject of anti-discrimination and data protection law. Existing libraries for fairness auditing of ML models offer no mechanism to protect the privacy of the audit data. We present PrivFair, a library for privacy-preserving fairness audits of ML models. Through the use of Secure Multiparty Computation (MPC), PrivFair protects the confidentiality of the model under audit and the sensitive data used for the audit, hence it supports scenarios in which a proprietary classifier owned by a company is audited using sensitive audit data from an external investigator. We demonstrate the use of PrivFair for group fairness auditing with tabular data or image data, without requiring the investigator to disclose their data to anyone in an unencrypted manner, or the model owner to reveal their model parameters to anyone in plaintext.

研究の動機と目的

• モデルのプライバシーと機密性の高い監査データを同時に保護する公平性監査ツールにおける重要なギャップを埋めること。
• 外部機関にモデル重みや監査データを漏洩させることなく、特許を取得した ML モデルの公平性を評価できるようにすること。
• 医療、金融、刑事司法など、データおよびモデルの機密性が法的にも倫理的にも不可欠なハイリスク分野における実世界の公平性監査シナリオを支援すること。
• 既存の公平性メトリクスと統合可能で、多様なモデルアーキテクチャをサポートする実用的で拡張可能なフレームワークを提供すること。

提案手法

• PrivFair は、モデルパラメータと監査データの暗号化された共有値上で共同計算を実行する秘密分散計算（MPC）を用い、両当事者が入力を平文で明らかにしないようにする。
• モデル所有者と監査機関が直接公平性メトリクスを計算する 2PC モデル、または信頼できないクラウドサーバーが暗号化された共有値上で計算を実行する 3PC モデルの両方をサポートする。
• すべての計算は有限整数環 𝕫_q 上で実行され、MPC プrotocols との互換性および数値的安定性を確保する。
• デモグラフィックパラティーション、同等機会、等しいオッズ、サブグループ精度といった主要な公平性メトリクスのための MPC プロトコルを実装する。
• ロジスティック回帰や ConvNets などのモデルに対応する既存の MPC ベースの推論プロトコルと統合することで、表計算データおよび画像データの両方をサポートする。
• 3PC モードでは非同期実行が可能であり、監査機関は継続的な相互作用なしにクラウドサーバーから事前に共有された暗号化モデルを照会できる。

実験結果

リサーチクエスチョン

• RQ1 特許を取得した ML モデルの公平性監査を、機密性の高いモデルパラメータや監査データを明示せずに実施できるか？
• RQ2 秘密分散計算（MPC）をどのように実世界の ML デプロイ環境におけるプライバシー保護型公平性評価に効果的に適用できるか？
• RQ3 MPC を用いた公平性監査における性能オーバーヘッドはどの程度で、実用的かつプライバシーに配慮した応用において許容可能か？
• RQ4 同じ MPC インfraストラクチャが、モデル推論と公平性メトリクス計算を統合的かつ拡張可能にサポートできるか？
• RQ5 本システムは、画像および表計算データを含むさまざまなモデルアーキテクチャやデータタイプにおいて、どのようにスケーリングするか？

主な発見

• PrivFair は、MPC を用いて表計算データおよび画像データの両方について、モデルパラメータや監査データを平文で漏洩させることなく、プライバシー保護型公平性監査を成功裏に実現した。
• 正確な公平性メトリクス計算が達成され、例えば男性のデモグラフィックパラティーションが 0.24、女性が 0.19 という結果を得たが、エンド・ツー・エンドの機密性が保たれた。
• 公平性監査の実行時間は、MPC ベースの推論に大きく依存しており、画像分類の総実行時間は 229.27 秒にのぼり、主にセキュアな推論コストに起因する。
• 公平性監査の文脈では、リアルタイム推論アプリケーションと比較して長時間の実行が許容可能であるため、性能オーバーヘッドは正当化される。
• ライブラリはデータサイズおよびモデルの複雑さに比例して線形にスケーリングし、MPC プロトコルの挙動に一致しており、2PC および 3PC の両方のデプロイモデルをサポートする。
• PrivFair は、処遇平等や予測平等といった追加の公平性メトリクスへも拡張可能であり、決定木、ランダムフォレスト、ニューラルネットワークなど多様なモデルタイプをサポートする。