[论文解读] Multi-Criteria Dimensionality Reduction with Applications to Fairness

Uthaipon Tantipongpipat, Samira Samadi+3 more|arXiv (Cornell University)|Feb 28, 2019

Advanced Optimization Algorithms Research被引用 14

一句话总结

本文提出了一种多准则降维框架，通过同时最大化最小组内方差（Fair-PCA）和组内方差乘积（Nash Social Welfare），实现对子群体间公平性的优化。该框架为具有凹目标函数的双准则问题提供了精确的多项式时间算法，并为更大组数设计了近似算法，利用了半定规划解的新型低秩性质，且在真实世界数据集上进行了经验验证。

ABSTRACT

Dimensionality reduction is a classical technique widely used for data analysis. One foundational instantiation is Principal Component Analysis (PCA), which minimizes the average reconstruction error. In this paper, we introduce the "multi-criteria dimensionality reduction" problem where we are given multiple objectives that need to be optimized simultaneously. As an application, our model captures several fairness criteria for dimensionality reduction such as our novel Fair-PCA problem and the Nash Social Welfare (NSW) problem. In Fair-PCA, the input data is divided into $k$ groups, and the goal is to find a single $d$-dimensional representation for all groups for which the minimum variance of any one group is maximized. In NSW, the goal is to maximize the product of the individual variances of the groups achieved by the common low-dimensional space. Our main result is an exact polynomial-time algorithm for the two-criterion dimensionality reduction problem when the two criteria are increasing concave functions. As an application of this result, we obtain a polynomial time algorithm for Fair-PCA for $k=2$ groups and a polynomial time algorithm for NSW objective for $k=2$ groups. We also give approximation algorithms for $k>2$. Our technical contribution in the above results is to prove new low-rank properties of extreme point solutions to semi-definite programs. We conclude with experiments indicating the effectiveness of algorithms based on extreme point solutions of semi-definite programs on several real-world data sets.

研究动机与目标

• 通过同时优化多个目标，解决降维中的公平性问题，特别是针对由敏感属性定义的子群体。
• 将Fair-PCA形式化为在共享低维空间中最大化k个子群体的最小组内方差。
• 将Nash Social Welfare (NSW) 目标建模为在共同低秩表示中最大化各组方差的乘积。
• 为具有凹性且递增的目标函数（特别是k=2组）的多准则降维开发高效算法。
• 在真实世界公平感知降维任务中，对Frank-Wolfe和乘法权重启发式算法的性能与运行时间进行实证评估。

提出的方法

• 将多准则降维建模为一个半定规划（SDP），其中约束条件作用于一个秩为d的低秩正定矩阵X。
• 引入Fair-PCA目标函数，即最大化最小组内方差，定义为min_i ⟨B_i, X⟩（共k组）。
• 将Nash Social Welfare (NSW) 目标定义为最大化方差乘积，通过∑_i log(⟨B_i, X⟩ + λ‖B_i‖_F)进行对数凸化，以确保光滑性。
• 采用带线搜索和自适应步长的Frank-Wolfe (FW) 方法求解NSW目标，利用光滑目标的Lipschitz连续性。
• 使用乘法权重（MW）方法，在对偶空间上结合梯度下降求解MM-Var与MM-Loss目标，通过调节学习率实现快速收敛。
• 采用对偶间隙阈值（≤0.1%）作为SDP松弛的终止条件，并在真实数据集上验证秩违反情况。

实验结果

研究问题

• RQ1 当对k=2组的Fair-PCA与NSW等两个凹目标函数进行优化时，能否设计出多项式时间算法来求解多准则降维问题？
• RQ2 如何通过确保由敏感属性定义的子群体中方差保持均衡，来建模PCA中的公平性？
• RQ3 Frank-Wolfe与乘法权重方法在降维中对非光滑与光滑公平性目标的收敛特性与运行时间权衡如何？
• RQ4 在公平感知降维中使用的SDP的极值点解在多大程度上表现出低秩结构，从而支持高效计算？
• RQ5 在大规模真实世界数据集上，公平感知PCA的计算成本与标准PCA相比如何？

主要发现

• 为具有递增凹目标函数的双准则降维问题开发了精确的多项式时间算法，可实现k=2组时Fair-PCA与NSW的精确解。
• Frank-Wolfe方法在NSW目标上收敛迅速，误差界为O(kd/(λt))（t次迭代），在1940年人口普查数据集上10–20次迭代内终止。
• 经调优学习率的乘法权重（MW）方法在MM-Var与MM-Loss目标上分别在100–200次迭代内收敛，每次迭代的计算成本为1x–2x的SVD操作。
• 使用MW求解Fair-PCA与MM-Loss目标时，大规模数据集（n=2000）的公平性计算成本为标准PCA的200–400倍，中等规模数据集为20–40倍。
• 对于NSW目标，公平性计算成本为标准PCA的15–60倍，FW方法实现快速收敛，每次迭代的恒定开销为1.5x–3x的SVD操作。
• 实证结果表明，SDP解中的秩违反情况几乎总是为零，仅在极少数情况下为1，表明最优解具有极强的低秩结构。