[论文解读] Fair Dimensionality Reduction and Iterative Rounding for SDPs

Jamie Morgenstern, Samira Samadi+3 more|arXiv (Cornell University)|Feb 28, 2019

Machine Learning and Algorithms参考文献 55被引用 8

一句话总结

本文提出了一种针对两类群体的公平主成分分析（fair PCA）问题的精确多项式时间算法，利用半定规划（SDP）极点解的秩界。该方法可推广至k类群体，构造出(d + √(2k + 0.25) − 1.5)维解，其目标值与最优的d维解一致，并引入一种适用于一般SDP的迭代取整框架，可获得低秩解且约束违反度有界。

ABSTRACT

We model dimensionality reduction as an optimization problem. A central example is the fair PCA problem: the input data is divided into $k$ groups, and the goal is to find a single $d$-dimensional representation for all groups for which the maximum variance (or minimum reconstruction error) is optimized for all groups in a fair (or balanced) manner, e.g., by maximizing the minimum variance over the $k$ groups of the projection to a $d$-dimensional subspace. This problem was introduced by Samadi et al. (2018) who gave a polynomial-time algorithm which, for $k=2$ groups, returns a $(d+1)$-dimensional solution of value at least the best $d$-dimensional solution. We give an exact polynomial-time algorithm for $k=2$ groups. The result relies on extending results of Pataki (1998) regarding rank of extreme point solutions to semi-definite programs. This approach applies more generally to any monotone concave function of the individual group objectives. For $k>2$ groups, our results generalize to give a $(d+\sqrt{2k+0.25}-1.5)$-dimensional solution with objective value as good as the optimal $d$-dimensional solution for arbitrary $k,d$ in polynomial time. Using our extreme point characterization result for SDPs, we give an iterative rounding framework for general SDPs which generalizes the well-known iterative rounding approach for LPs. It returns low-rank solutions with bounded violation of constraints. We obtain a $d$-dimensional projection where the violation in the objective can be bounded additively in terms of the top $O(\sqrt{k})$-singular values of the data matrices. We also give an exact polynomial-time algorithm for any fixed number of groups and target dimension via the algorithm of Grigoriev and Pasechnik (2005). In contrast, when the number of groups is part of the input, even for target dimension $d=1$, we show this problem is NP-hard.

研究动机与目标

• 解决数据被划分为k个群体的公平主成分分析问题，目标是找到一个d维子空间，使所有群体的方差分布均衡。
• 为公平降维问题开发一种多项式时间算法，保证解的质量与最优d维解相当。
• 将方法从k=2推广至任意k，提供与k呈次线性增长的维数界。
• 将迭代取整技术从线性规划推广至半定规划，实现低秩解且约束违反度有界。
• 建立复杂度界，证明当k作为输入的一部分时，即使d=1，该问题也是NP难的。

提出的方法

• 将Pataki的SDP极点解的秩界推广至公平PCA问题，用于刻画低秩解的性质。
• 利用极点解的结构，为k=2类群体设计出多项式时间的精确算法。
• 通过构造(d + √(2k + 0.25) − 1.5)维解，将方法推广至k>2类群体，该解与最优d维解目标值一致。
• 提出一种新颖的SDP迭代取整框架，保持可行性的同时约束违反度有界。
• 将目标违反度与数据矩阵的前O(√k)个奇异值绑定，实现维数与误差之间可量化的权衡。
• 当k和d固定时，采用Grigoriev和Pasechnik（2005）的算法求解精确解。

实验结果

研究问题

• RQ1 能否为k=2类群体的公平PCA问题设计出一种精确多项式时间算法，使其在更高维空间中实现与最优d维解相同的目标值？
• RQ2 为实现公平PCA中k>2类群体的最优d维目标值，所需的最小维数冗余是多少？
• RQ3 如何将迭代取整方法从线性规划推广至半定规划，以生成低秩解且约束违反度有界？
• RQ4 群体数量k与公平降维中为保持目标值所需增加的维数之间存在何种关系？
• RQ5 当k作为输入的一部分时，即使目标维数d=1，公平PCA问题是否为NP难的？

主要发现

• 为k=2类群体的公平PCA问题提出了一种精确多项式时间算法，返回(d+1)维解，其目标值与最优d维解完全一致。
• 对于k>2类群体，该方法构造出(d + √(2k + 0.25) − 1.5)维解，其目标值与最优d维解相同。
• SDP的迭代取整框架可生成低秩解，且目标违反度被控制在数据矩阵前O(√k)个奇异值范围内。
• 该方法可推广至任意单调凹函数的个体群体目标函数，不仅限于方差或重构误差。
• 当群体数量k作为输入的一部分时，即使d=1，公平PCA问题也被证明为NP难。
• 当k和d固定时，通过Grigoriev和Pasechnik（2005）的算法可获得精确解，从而在该参数范围内确立了多项式时间可解性。