[论文解读] Group Fairness: Independence Revisited

Tim Räz|arXiv (Cornell University)|Jan 8, 2021

Ethics and Social Impacts of AI参考文献 13被引用 10

一句话总结

本文重新評估了獨立性（統計奇偶性）作為機器學習中算法決策群體公平性衡量指標的適用性，反駁了近期對其的批評，指出針對獨立性的論點或同樣適用於其他公平性指標（如分離性與充分性），或基於有誤的假設。本文證明獨立性捕捉了一種其他標準未涵蓋的獨特公平形式，並主張在公平性評估中應與其他指標一同納入獨立性。

ABSTRACT

This paper critically examines arguments against independence, a measure of group fairness also known as statistical parity and as demographic parity. In recent discussions of fairness in computer science, some have maintained that independence is not a suitable measure of group fairness. This position is at least partially based on two influential papers (Dwork et al., 2012, Hardt et al., 2016) that provide arguments against independence. We revisit these arguments, and we find that the case against independence is rather weak. We also give arguments in favor of independence, showing that it plays a distinctive role in considerations of fairness. Finally, we discuss how to balance different fairness considerations.

研究动机与目标

• 批判性地重新評估針對獨立性（統計奇偶性）作為機器學習中公平性指標的有效性。
• 挑戰「獨立性在公平性評估中本質上存在缺陷或不如分離性與充分性具說服力」的主張。
• 證明獨立性突顯了一種其他公平性指標未涵蓋的獨特類型不公平。
• 顯示公平性指標的保守性——特別是充分性與分離性——在預測器準確度提升時並未被保留，從而動搖了反對獨立性的主要論點。
• 主張應採用平衡且具脈絡敏感的公平性方法，將獨立性與其他公平性標準一同納入考量。

提出的方法

• 重新分析 Dwork 等人（2012）與 Hardt 等人（2016）提出的針對獨立性的基礎論點，顯示這些論點並非獨獨適用於獨立性。
• 引入「增量保守性」概念，以評估公平性指標在預測器準確度提升時是否仍被保留。
• 利用混淆矩陣構建反例，證明提升準確度可能違反分離性與充分性，從而證明這兩者並非具增量保守性。
• 運用條件獨立性形式化（例如 R ⊥ A, Y ⊥ A|R, R ⊥ A|Y）在二元分類設定中定義並比較公平性指標。
• 將框架應用於現實世界案例（如大學錄取與犯罪風險評估），以說明脈絡依賴的公平性權衡。
• 運用機率推理與證明技術，確立當群體基率不相等時，獨立性與高準確度並非邏輯上互斥。

实验结果

研究问题

• RQ1 針對獨立性的論點是否獨獨適用於獨立性，還是同樣會動搖其他公平性指標？
• RQ2 「獨立性不具保守性」（即在準確度提升時不被保留）的主張是否成立？與充分性及分離性相比如何？
• RQ3 獨立性是否捕捉了一種分離性與充分性未涵蓋的獨特公平面向？
• RQ4 在實務中，應如何平衡多項公平性標準——特別是獨立性、分離性與充分性？
• RQ5 脈絡特定考量（如錯誤成本）在選擇公平性指標時應扮演何種角色？

主要发现

• Dwork 等人（2012）與 Hardt 等人（2016）針對獨立性的論點，並非獨獨適用於獨立性，同樣會動搖其他公平性指標（如分離性與充分性）。
• 充分性與分離性並非具增量保守性：提升預測器準確度可能違反這兩項指標，即使原始預測器已滿足它們。
• 獨立性捕捉了一種獨特的公平面向——基於群體的預測平衡——此面向未被分離性或充分性涵蓋，特別是在群體基率不同的情況下。
• 當真實標籤與群體成員資格不獨立時，獨立性與高準確度相容，與「其本質上與準確度衝突」的主張相反。
• 本文透過反例證明，透過非比例地將假陰性轉為真正陽性來提升準確度，可能破壞分離性與充分性，即使整體表現有所改善。
• 研究結論認為，獨立性應被視為公平性評估中合法且必要的組成部分，特別是在其他指標產生衝突或無法捕捉群體層級失衡時。