[论文解读] Fair Representation Learning through Implicit Path Alignment

Changjian Shui, Qi Chen+3 more|arXiv (Cornell University)|May 26, 2022

Advanced Causal Inference Techniques被引用 5

一句话总结

该论文提出了一种公平表示学习框架，通过构建双层优化问题，确保在不同子组之间具有不变的最优预测器。外层优化学习公平表示，内层优化则针对各子组优化特定预测器。该方法引入了一种隐式路径对齐算法，通过仅依赖内层优化的最终解来高效近似梯度，避免追踪完整的优化路径，从而在满足充分性准则的前提下，实现了分类和回归任务中预测性能与公平性之间的优越权衡。

ABSTRACT

We consider a fair representation learning perspective, where optimal predictors, on top of the data representation, are ensured to be invariant with respect to different sub-groups. Specifically, we formulate this intuition as a bi-level optimization, where the representation is learned in the outer-loop, and invariant optimal group predictors are updated in the inner-loop. Moreover, the proposed bi-level objective is demonstrated to fulfill the sufficiency rule, which is desirable in various practical scenarios but was not commonly studied in the fair learning. Besides, to avoid the high computational and memory cost of differentiating in the inner-loop of bi-level objective, we propose an implicit path alignment algorithm, which only relies on the solution of inner optimization and the implicit differentiation rather than the exact optimization path. We further analyze the error gap of the implicit approach and empirically validate the proposed method in both classification and regression settings. Experimental results show the consistently better trade-off in prediction performance and fairness measurement.

研究动机与目标

• 为解决公平表示学习中对充分性准则关注不足的问题，该准则确保预测结果在子组间条件不变。
• 开发一种双层优化框架，学习使得潜在空间上最优预测器在不同子组间保持不变的表示。
• 通过避免显式追踪双层学习中内层优化路径，降低计算成本。
• 通过实证验证该方法在保持高预测性能的同时最小化公平性差距的有效性，尤其在充分性准则下。
• 分析隐式微分方法的误差差距，并展示其相对于显式路径对齐的实际优势。

提出的方法

• 将公平表示学习建模为双层优化问题：外层优化学习表示函数 λ，内层优化则为每个子组学习预测器 h。
• 提出隐式路径对齐方法，利用隐式微分基于内层优化的最终解计算关于 λ 的梯度，无需存储或对整个优化路径进行微分。
• 采用共轭梯度下降求解内层优化，容忍度为 ε，并通过表示更新的容忍度 δ 控制外层优化的收敛。
• 采用基于梯度的方法对齐不同子组间预测器的优化轨迹，确保最终最优预测器 h* 在各组间保持不变。
• 在分类和回归任务中应用该方法，使用全连接神经网络作为 λ，h 采用线性或浅层模型，损失函数为标准形式（交叉熵、均方误差）。
• 分析隐式近似与精确梯度近似之间的误差差距，表明偏差与公平性约束之间的权衡在实践中可管理。

实验结果

研究问题

• RQ1 双层优化框架能否有效强制实现子组间不变的最优预测器，从而满足公平表示学习中的充分性准则？
• RQ2 如何利用隐式微分降低双层优化在公平表示学习中的计算成本，同时不牺牲公平性或性能？
• RQ3 所提出的隐式路径对齐方法是否在预测准确率与公平性之间实现了优于聚焦于独立性或分离性的现有方法的权衡？
• RQ4 隐式方法中梯度近似误差对公平性和模型性能有何影响？
• RQ5 该方法能否在不同任务（如分类和回归）中泛化，并在充分性准则下保持公平性？

主要发现

• 所提出的隐式路径对齐方法在分类和回归任务中显著降低了充分性差距，优于基于独立性或分离性的方法。
• 在 Law 数据集（回归）中，隐式方法在保持竞争性均方误差（MSE）的同时，实现了更低的充分性差距（ΔSuf_R），表明其在公平性与性能之间具有更优的权衡。
• 在 NLSY 数据集中，隐式方法有效控制了充分性差距，结果表明其在公平性方面相比基线方法实现了微小但一致的改进。
• 通过图 4、5 和 6 中的 MSE-充分性差距曲线可看出，该方法在不同性能水平下均实现了更优的预测性能与公平性权衡。
• 实证结果证实，在合理假设下，双层目标函数满足充分性准则，且隐式方法即使在存在有偏梯度近似的情况下仍保持了强劲性能。
• 该方法在降低充分性差距方面优于基于 DP 的基线方法，这在医疗保健等现实应用中至关重要，因为公平性不容妥协。