[論文レビュー] Fairness Reprogramming

Guanhua Zhang, Yihua Zhang+5 more|arXiv (Cornell University)|Sep 21, 2022

Insurance, Mortality, Demography, Risk Management被引用数 6

ひとこと要約

この論文では、固定された機械学習モデルにおける公平性を向上させるために、入力に学習可能な公平性トリガーを追加する後処理フレームワークであるFairReprogramを提案する。最小最大化最適化を用いて、人種的・性的バイアスを隠蔽することで、再訓練ベースの手法と比較して、精度の損失が少なく、計算コストも低い。特に、現実世界のバイアスを含むNLPおよびCVベンチマークで優れた公平性向上効果を示す。

ABSTRACT

Despite a surge of recent advances in promoting machine Learning (ML) fairness, the existing mainstream approaches mostly require retraining or finetuning the entire weights of the neural network to meet the fairness criteria. However, this is often infeasible in practice for those large-scale trained models due to large computational and storage costs, low data efficiency, and model privacy issues. In this paper, we propose a new generic fairness learning paradigm, called FairReprogram, which incorporates the model reprogramming technique. Specifically, FairReprogram considers the case where models can not be changed and appends to the input a set of perturbations, called the fairness trigger, which is tuned towards the fairness criteria under a min-max formulation. We further introduce an information-theoretic framework that explains why and under what conditions fairness goals can be achieved using the fairness trigger. We show both theoretically and empirically that the fairness trigger can effectively obscure demographic biases in the output prediction of fixed ML models by providing false demographic information that hinders the model from utilizing the correct demographic information to make the prediction. Extensive experiments on both NLP and CV datasets demonstrate that our method can achieve better fairness improvements than retraining-based methods with far less data dependency under two widely-used fairness criteria. Codes are available at https://github.com/UCSB-NLP-Chang/Fairness-Reprogramming.git.

研究の動機と目的

• 再訓練ベースの公平性手法の限界、特に大規模でプライベートなモデルでは計算コストが高く、実用的でないという問題に対処すること。
• モデル再プログラミングを、モデル重みを変更せずに公平性の目的に適応可能かどうかを検討すること。
• 多様なタスクやドメインに適用可能な汎用的でスケーラブルかつプライバシー保護型の公平性フレームワークを開発すること。
• 定数の公平性トリガーが、モデル予測における人種的バイアスを効果的に低減する条件を理論的に説明すること。
• 入力レベルの摂動が、全モデルファインチューニングに比べて、より優れた公平性-精度トレードオフを達成できるかどうかを実証すること。

提案手法

• モデルの入力に追加する、固定された学習可能な摂動（公平性トリガー）を導入し、モデルの挙動を公平性指向に再プログラミングする。
• トリガーが公平性違反を最小化しつつ予測性能を維持するように最適化される、ミニマックス最適化フレームワークを採用する。
• 公平性トリガーがモデルが真の性的・人種的属性情報をどのように利用しているかを遮断するかを分析するための情報理論的フレームワークを提案する。
• Y（出力）およびZ（属性）関連の特徴を分離する仮定を用いて、トリガーがどのように人種的バイアスを隠蔽するかのメカニズムを形式化する。
• 現実世界のバイアスを含むデータセットを用いて、NLPおよびコンピュータビジョンタスクに本手法を適用する。
• 入処理公平性手法に類似した敵対的損失項を用いるが、モデルパラメータではなく入力トリガーを最適化する。

実験結果

リサーチクエスチョン

• RQ1 固定された機械学習モデルにおいて、モデル再プログラミング技術を公平性の目的に効果的に適用できるか？
• RQ2 定数の入力トリガーが、どのような条件下でモデル予測における人種的バイアスを成功裏に低減できるのか、その理由は何か？
• RQ3 公平性トリガーは、再訓練を伴わずに、再訓練ベースの手法と比較して、公平性向上と精度トレードオフの両面で優れているか？
• RQ4 再訓練なしに、異なるデータセットやタスク間で公平性トリガーを転送可能か？
• RQ5 固定された入力摂動が、モデルの性的属性依存性をどのように遮断できる理論的条件があるか？

主な発見

• CelebAデータセットにおいて、2つの公平性基準下で、再訓練ベースのベースラインと比較して、バイアススコアが10.5%および36.5%低く、精度は同等を維持した。
• 本手法は高い転送性を示し、再訓練なしに多様なNLPおよびCVベンチマークで高い公平性向上効果を維持した。
• 公平性トリガーは、偽の性的・人種的信号を注入することで、真の性的属性情報の隠蔽に成功し、モデルの敏感属性への依存度を低下させた。
• 理論的分析により、トリガーが偽の性的信号に対して高い信頼度を持つ場合、モデルの予測分布が目標の公平性分布に収束することが確認された。
• 特にデータ量が少ない状況や、モデルパラメータへのアクセスが制限される状況において、再訓練ベースの手法に比べて、より優れた公平性-精度トレードオフを達成した。
• 本手法は計算的に効率的でスケーラブルであり、モデル重みや勾配にアクセスせず、入力レベルの変更のみで実現可能である。