[論文レビュー] FARE: Provably Fair Representation Learning with Practical Certificates

Nikola Jovanović, Mislav Balunović+2 more|arXiv (Cornell University)|Oct 13, 2022

Ethics and Social Impacts of AI被引用数 4

ひとこと要約

FARE は、符号化器の出力を有限な表現の集合に制限することで、実用的で証明可能な公平性の証明書を提供する新しい公平な表現学習手法である。木構造の符号化器を用いて、任意の下流分類器について不正義の高信頼性の上界を計算し、実際のデータセットにおいてタイトな証明書と競争力のある精度-公平性のトレードオフを達成する。

ABSTRACT

Fair representation learning (FRL) is a popular class of methods aiming to produce fair classifiers via data preprocessing. Recent regulatory directives stress the need for FRL methods that provide practical certificates, i.e., provable upper bounds on the unfairness of any downstream classifier trained on preprocessed data, which directly provides assurance in a practical scenario. Creating such FRL methods is an important challenge that remains unsolved. In this work, we address that challenge and introduce FARE (Fairness with Restricted Encoders), the first FRL method with practical fairness certificates. FARE is based on our key insight that restricting the representation space of the encoder enables the derivation of practical guarantees, while still permitting favorable accuracy-fairness tradeoffs for suitable instantiations, such as one we propose based on fair trees. To produce a practical certificate, we develop and apply a statistical procedure that computes a finite sample high-confidence upper bound on the unfairness of any downstream classifier trained on FARE embeddings. In our comprehensive experimental evaluation, we demonstrate that FARE produces practical certificates that are tight and often even comparable with purely empirical results obtained by prior methods, which establishes the practical value of our approach.

研究の動機と目的

• 機械学習における証明可能な公平性保証の重要なニーズに対応すること、特にバイアスのかかったモデルが法的・財務的・社会的被害をもたらす可能性がある高リスク応用分野において。
• 従来の公平な表現学習手法が、下流分類器に対して実用的で有限標本の公平性証明書を欠いているという限界を克服すること。
• データ分布やモデル挙動の知識を仮定せずに、不正義のタイトで高信頼性の上界を提供する手法を開発すること。
• 符号化器の出力に公平性を保証する埋め込みを生成することで、公平な表現の実用的導入を可能にし、消費者が悪意的であったり公平性を理解していなくても、その分類器が証明可能に公平であることを保証すること。
• 効率的で解釈可能な符号化器を設計することで、強力な実験的性能を維持しながら理論的保証を可能にする精度と公平性のバランスを図ること。

提案手法

• 入力データを有限な表現の集合にマップする制限付き符号化器を導入し、表現空間を制限することで理論的解析を可能にする。
• 意思決定木ベースの符号化器を用いて、入力空間を k 個のセルに分割し、各セルを単一の表現ベクトルにマップすることで、離散的で解釈可能な表現を実現する。
• 訓練データを用いて各表現セル内での感受性属性の経験的分布を推定し、P(s=0|z_i) と P(s=1|z_i) を計算する。
• 下流分類器が表現を学習して訓練される場合のデモグラフィックパラティーション距離の高信頼性で有限標本の上界を計算する統計的手法を適用する。
• 集中不等式と経験的推定値を用いて、G に属するすべての可能な分類器に対して不正義を証明的に上界付ける公平性証明書 T* を導出する。
• 表現空間の有限性と統計的信頼区間を活用することで、証明書がタイトで空虚でないことを保証する。

実験結果

リサーチクエスチョン

• RQ1 我々は、分布に関する仮定なしに、任意の下流分類器に対して実用的で有限標本の公平性証明書を提供する公平な表現学習手法を設計できるか？
• RQ2 符号化器の表現空間をどのように制限すれば、証明可能な公平性保証を達成しつつ、望ましい精度-公平性トレードオフを維持できるか？
• RQ3 実世界のデータセットにおいて、FARE の公平性証明書 T* は、従来手法の経験的公平性推定値と比較してどの程度タイトで空虚でないか？
• RQ4 多タスクおよび下流予測設定において、FARE の表現の解釈可能性と転送性は、最先端の FRL 手法と比較してどの程度優れているか？
• RQ5 制限付き符号化器フレームワークは、多値の感受性属性や分布シフトを扱えるように拡張可能か？その際、公平性保証を維持できるか？

主な発見

• FARE は、従来手法の純粋な経験的公平性推定値と同程度の大きさを示すタイトで実用的な公平性証明書 T* を生成する。
• 複数の実世界データセットにおいて、証明可能な保証を提供しているにもかかわらず、最先端の FRL 手法と同等の実験的精度-公平性トレードオフを達成する。
• 転移学習評価では、健康データセットの未観測の5つのタスクにおいて、FARE が一貫してデモグラフィックパラティーション距離を閾値以下（例：ΔDP ≤ 0.20）に低下させつつ、有効な証明書を維持する。
• 同じ公平性閾値において、FARE の精度は一部のベースライン（例：タスク MIS で 79.3% 対 79.8%）よりわずかに低いが、これは証明可能な公平性保証のための妥当なトレードオフである。
• 木構造の符号化器により直接的な解釈性が可能である。例えば、ある表現 z₆ は 24 歳以上で学士号保有者かつ管理・関連職業に該当する個人に対応する。
• 証明書 T* は異なる下流モデル（例：1-NN、SVM）に対して有効であり、特定のモデルクラスに依存する従来手法が不正義を低く見積もるのを回避する。