[論文レビュー] A Fairness Analysis on Private Aggregation of Teacher Ensembles

Cuong Dinh Tran, My H. Dinh+2 more|arXiv (Cornell University)|Sep 17, 2021

Privacy-Preserving Technologies in Data参考文献 28被引用数 6

ひとこと要約

本論文は、微分プライバシーを保証する機械学習フレームワークであるPrivate Aggregation of Teacher Ensembles（PATE）における公平性の不均衡を調査する。PATEは、データ分布およびモデルパラメータの特性により、異なるデモグラフィックグループ間で精度の損失が不均等に発生する要因となることが判明し、硬いラベルの代わりに確率的出力を提供するソフトラベル集約を用いた緩和戦略を提案する。この戦略により、特に厳しいプライバシー制約下でもモデルの有用性を損なわずに公平性が向上する。

ABSTRACT

The Private Aggregation of Teacher Ensembles (PATE) is an important private machine learning framework. It combines multiple learning models used as teachers for a student model that learns to predict an output chosen by noisy voting among the teachers. The resulting model satisfies differential privacy and has been shown effective in learning high-quality private models in semisupervised settings or when one wishes to protect the data labels. This paper asks whether this privacy-preserving framework introduces or exacerbates bias and unfairness and shows that PATE can introduce accuracy disparity among individuals and groups of individuals. The paper analyzes which algorithmic and data properties are responsible for the disproportionate impacts, why these aspects are affecting different groups disproportionately, and proposes guidelines to mitigate these effects. The proposed approach is evaluated on several datasets and settings.

研究の動機と目的

• PATEフレームワークが、異なるデモグラフィックグループ間でモデル精度の公平性の不均衡を生じさせたり、悪化させたりするかどうかを調査すること。
• 特にデータ分布およびモデルパラメータの感度といった、アルゴリズム的およびデータレベルの要因がPATEにおける不均等な影響をもたらす仕組みを同定すること。
• 微分プライバシー制約下でも特に顕著なプライベートアンサンブル学習における不平等の背後にあるメカニズムを理解すること。
• 訓練時に保護属性ラベルを必要としない、公平性の不均衡を低減する緩和戦略を提案すること。
• 複数の実世界データセットにおいて、さまざまなプライバシー予算（ε）の下で提案手法の有効性を評価すること。

提案手法

• 著者らは、プライバシーが個別およびグループレベルの予測精度に与える直接的影響を測定するため、過剰リスクに基づく公平性指標を導入する。
• モデルパラメータの入力データに対する感度を分析し、正則化および勾配ノルムを用いてモデル感度の理論的上限を導出する。
• 本手法はPATEにおけるソフトラベル集約を活用し、教師モデルが硬い予測ではなく確率的出力を提供することで、ノイズに起因するバイアスを低減する。
• 実験では、4つのベンチマークデータセット（Bank, Credit Card, Income, Parkinsons）を用い、教師数（k=20, 150）およびプライバシー予算（ε）を変化させた条件下で評価を行う。
• 緩和戦略は訓練時に保護属性にアクセスする必要がなく、GDPR準拠の環境に適している。
• 理論的分析により、入力ノルムの大きさと勾配ノルム感度の間の関連が明らかになり、高ノルム入力がプライバシーに起因する精度損失に対してより脆弱である理由が説明される。

実験結果

リサーチクエスチョン

• RQ1 PATEにおける異なるデモグラフィックグループ間で、なぜ精度損失が不均等に発生するのか。また、微分プライバシーはこのような不均衡をどのように拡大させるのか。
• RQ2 データ分布の特性およびモデルパラメータの感度は、プライベートアンサンブル学習における不平等にどのように寄与するのか。
• RQ3 なぜ少数派グループはPATEのノイズの多い投票メカニズムによって特に大きな影響を受けるのか。
• RQ4 ソフトラベル集約は、保護属性のアクセスを必要とせず、モデルの有用性を損なわずにPATEにおける公平性の不均衡を低減できるか。
• RQ5 提案された緩和戦略は、多様なデータセットおよびプライバシー予算の下で、どの程度公平性を向上させるのか。

主な発見

• PATEは、過剰リスク差がプライバシー予算（ε）が高くなるほど増大する傾向にあり、多数派とマイノリティグループ間で顕著な精度の不均衡を生じる。
• 入力ノルムの大きさと勾配ノルム感度の間に強い正の相関が確認され、高ノルム入力がプライバシーに起因する誤差に対してより脆弱である理由が説明される。
• ソフトラベル集約により、PATEにおけるマイノリティと多数派グループ間の過剰リスク差が、平均して40％まで低減され、ハードラベル学習と比較して顕著な改善が得られる。
• 保護属性が訓練時に利用不可であっても、緩和戦略はモデル精度を維持または向上させながら、公平性の不均衡を顕著に低減する。
• モデル感度の理論的上限は、実測観察値と密接に一致しており、公平性リスクを同定するための分析フレームワークの妥当性が裏付けられる。
• 公平性の劣化は、データのアンバランスに限定されるものではなく、PATEメカニズムおよびデータ分布の内在的性質に起因するものであることが示唆される。