[论文解读] Impossibility results for fair representations

Tosca Lechner, Shai Ben-David+2 more|arXiv (Cornell University)|Jul 7, 2021

Ethics and Social Impacts of AI参考文献 14被引用 5

一句话总结

本文證明了機器學習中公平資料表徵的基礎不可能性結果：在資料分佈發生變動時，任何表徵都無法保證跨不同任務的群體均等性或機會均等性公平。即使已知邊際分佈，單一表徵也無法同時實現多項任務的公平性與準確分類，從而動搖了先前研究中提出的可遷移公平性解決方案的可行性。

ABSTRACT

With the growing awareness to fairness in machine learning and the realization of the central role that data representation has in data processing tasks, there is an obvious interest in notions of fair data representations. The goal of such representations is that a model trained on data under the representation (e.g., a classifier) will be guaranteed to respect some fairness constraints. Such representations are useful when they can be fixed for training models on various different tasks and also when they serve as data filtering between the raw data (known to the representation designer) and potentially malicious agents that use the data under the representation to learn predictive models and make decisions. A long list of recent research papers strive to provide tools for achieving these goals. However, we prove that this is basically a futile effort. Roughly stated, we prove that no representation can guarantee the fairness of classifiers for different tasks trained using it; even the basic goal of achieving label-independent Demographic Parity fairness fails once the marginal data distribution shifts. More refined notions of fairness, like Odds Equality, cannot be guaranteed by a representation that does not take into account the task specific labeling rule with respect to which such fairness will be evaluated (even if the marginal data distribution is known a priory). Furthermore, except for trivial cases, no representation can guarantee Odds Equality fairness for any two different tasks, while allowing accurate label predictions for both. While some of our conclusions are intuitive, we formulate (and prove) crisp statements of such impossibilities, often contrasting impressions conveyed by many recent works on fair representations.

研究动机与目标

• 探討通用資料表徵是否能保證跨多項下游分類任務的公平性。
• 檢驗透過與任務特定資料分佈無關的固定表徵實現群體均等性與機會均等性公平的可行性。
• 解決近期文獻中關於可遷移公平表徵的聲稱與此類方法理論限制之間的矛盾。
• 釐清表示學習中公平性的概念基礎，特別是資料分佈與標籤規則的角色。
• 證明單一特徵的公平性在未考慮完整特徵集的情況下定義不清，從而挑戰公平性文獻中的常見假設。

提出的方法

• 以群體成員資格、預測與標籤之間的條件獨立約束形式化公平性概念，如群體均等性（DP）與機會均等性（EO）。
• 證明當不同任務之間邊際資料分佈發生變動時，任何表徵都無法確保所有分類器的群體均等性公平。
• 展示對於任意兩個具有相同邊際分佈但標籤規則不同的不同任務，不存在任何表徵能同時實現準確的分類器與兩者皆保證的機會均等性公平。
• 引入（ε,η）-公平性啟用表徵的概念，並證明即使單一特徵無法啟用公平性，特徵組合仍可實現公平性。
• 分析預測率均等性（PRP）公平性，並證明在PRP下，對抗性公平僅在各群體成功率相等時才可能實現。
• 使用反例與形式化證明，顯示若在評估時無法取得資料分佈或真實標籤，則無法確保公平性。

实验结果

研究问题

• RQ1 即使邊際資料分佈在任務間發生變動，單一資料表徵是否能保證所有下游分類器的群體均等性公平？
• RQ2 能否設計出一種表徵，使兩個具有相同邊際資料分佈但標籤規則不同的任務皆能實現機會均等性公平？
• RQ3 在測試時無法取得真實標籤或資料分佈的情況下，是否能保證表徵的公平性？
• RQ4 單一特徵的公平性與完整表徵的公平性之間的關係為何？
• RQ5 在何種條件下，可實現針對預測率均等性的對抗性公平？

主要发现

• 即使事先已知分佈，當邊際資料分佈在任務間發生變動時，任何資料表徵都無法保證所有分類器的群體均等性公平。
• 對於任意兩個具有相同邊際分佈但非冗餘的任務，不存在任何表徵能同時實現兩者的準確標籤預測與機會均等性公平。
• 即使可取得真實標籤與邊際分佈，若表徵未針對每項任務特別設計，也無法在所有任務中普遍保證公平性。
• 單一特徵的公平性定義不清；特徵在孤立時可能公平，但因與其他特徵互動而在完整表徵中導致不公平。
• 在預測率均等性下，對抗性公平僅在各群體於資料分佈下成功率相等時才可能實現。
• 特徵的組合可實現公平性，即使單一特徵或子集本身無法啟用公平性，突顯了表徵中公平性的非可加性。